Loading...
机构名称:
¥ 1.0

当前的学习模型通常难以实现像人类一样的系统泛化,特别是在从有限的数据中学习组合规则并将它们推断为新的组合时。我们引入了神经符号递归机(NSR),其核心是根基符号系统(GSS),允许直接从训练数据中产生组合语法和语义。NSR采用模块化设计,集成了神经感知、句法分析和语义推理。这些组件通过一种新颖的演绎-溯因算法进行协同训练。我们的研究结果表明,NSR的设计充满了等变性和组合性的归纳偏差,使其具有良好的表现力,可以熟练地处理各种序列到序列任务并实现无与伦比的系统泛化。我们在四个旨在探测系统泛化能力的具有挑战性的基准上评估了NSR的有效性:用于语义分析的SCAN、用于字符串操作的PCFG、用于算术推理的HINT和组合机器翻译任务。结果证实了 NSR 在泛化和可转移性方面优于当代神经和混合模型。

神经符号递归机

神经符号递归机PDF文件第1页

神经符号递归机PDF文件第2页

神经符号递归机PDF文件第3页

神经符号递归机PDF文件第4页

神经符号递归机PDF文件第5页

相关文件推荐