本综述探讨了两个不同人工智能领域中学习和推理的整合,即神经符号人工智能和统计关系人工智能。神经符号人工智能(NeSy)研究符号推理和神经网络的整合,而统计关系人工智能(StarAI)则侧重于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们关注的是(1)逻辑推理的方法,无论是基于模型还是基于证明;(2)所用逻辑理论的语法;(3)系统的逻辑语义及其促进学习的扩展;(4)学习范围,包括参数或结构学习;(5)符号和亚符号表示的存在;(6)系统捕捉原始逻辑、概率和神经范式的程度; (7)系统适用的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点,本综述为理解学习和推理的整合贡献了基本概念。
本综述探讨了人工智能两个不同领域中学习和推理的整合:神经符号人工智能和统计关系人工智能。神经符号人工智能 (NeSy) 研究符号推理和神经网络的整合,而统计关系人工智能 (StarAI) 则专注于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们涉及 (1) 逻辑推理的方法,无论是基于模型还是基于证明;(2) 所用逻辑理论的语法;(3) 系统的逻辑语义及其促进学习的扩展;(4) 学习范围,包括参数或结构学习;(5) 符号和亚符号表示的存在;(6) 系统捕捉原始逻辑、概率和神经范式的程度;(7) 系统应用于的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点,本调查为理解学习和推理的整合贡献了基本概念。
学习与推理的融合是当今人工智能和机器学习面临的关键挑战之一,各个社区都在努力解决这一问题。对于神经符号计算 (NeSy) 领域尤其如此 [ 11 , 23 ],其目标是整合符号推理和神经网络。NeSy 已经有悠久的传统,最近引起了各个社区的广泛关注(参见Y. Bengio 和 H. Kautz 在 AAAI 2020 上关于这个主题的主题演讲,Y. Bengio 和 G. Marcus 之间的 AI 辩论 [ 10 ])。另一个在融合学习和推理方面有着丰富传统的领域是统计关系学习和人工智能 (StarAI) [ 41 , 89 ]。但是,它不是专注于整合逻辑和神经网络,而是围绕着将逻辑与概率推理(更具体地说是概率图模型)相结合的问题。尽管人们共同关注将符号推理与学习的基本范式(即概率图模型或神经网络)相结合,但令人惊讶的是,这两个领域之间并没有更多的相互作用。这种差异是本次调查背后的主要动机:它旨在指出这两项努力之间的相似之处,并希望以这种方式促进相互影响。为此,我们从 StarAI 的文献开始,
统计关系学习和AI(starai)[11,32],另一方面,在存在不同的对象和关系的数量(即在关系领域)的存在。但是,关系RL [8]相对尚未探索,尽管存在某些方法[42],但它们并不能按照大型任务进行扩展,并且对于多基因设置而言肯定不容易扩展。一个有希望的方向正在利用层次(和关系)计划的组合,以探索多个级别的抽象和RL来学习低级政策[16,20]。受到AI的这些不同子区域的成功的启发,我们采用了一种方法,该方法利用了关系层次规划师的力量作为噪音,关系领域中多种学习的集中式控制器。我们所提出的方法称为多基金关系计划和强化学习(MarePrel),将计划分解,集中控制和代理位置,用于构建特定任务表示的Starai,以及通过这些专业表示的有效和有效学习的深度RL。我们做出以下关键贡献:(1)据我们所知,我们提出了可以跨越多个对象和关系概括的关系构造域的第一个多基因系统。正如我们在相关工作中所显示的那样,多种文献中存在着重要的文献,关系学习以及计划和学习的整合。我们的工作是在多构想系统中将所有这些方向相结合的第一项工作。(2)为了实现这一目标,我们开发了MarePrel,这是一种综合计划和学习体系结构,能够在关系领域的不确定性下进行多种学习。具体而言,玛丽·玛丽(Mareprel)的有效学习和推理能力源于其关系形式的代表,高级计划的分解以及最低级别的深度RL的使用。(3)最后,我们在一些关系多基因领域中证明了我们的AP级的有效性和概括能力。我们将基于不同基于RL的多构基线(包括明确使用子任务信息)进行比较,并说明了我们方法的优越性。本文的其余部分如下:在审查了相关工作并介绍了必要的背景之后,我们概述了我们的多基因框架,并更详细地讨论算法。然后,我们通过讨论未来研究的领域在结束论文之前对一些关系的多种关系领域进行了实验评估。
[书名、编辑、印刷 ISBN 或在线 ISBN、页数、年份和 DOI 或 URL]。人们普遍认为,学习和推理对于实现真正的(人工智能)都至关重要 [1]。这也解释了为什么神经符号人工智能 (NeSy) [2、3、4、5](它将高级推理与低级感知相结合)的探索在研究议程中占据重要地位。推理的两个最突出的框架是逻辑和概率。</div>虽然在过去,它们是由人工智能领域的不同社区进行研究的,但大量研究人员一直致力于将它们整合,并旨在将概率与逻辑和统计学习结合起来;参见统计关系人工智能 (StarAI) [6、7] 和概率逻辑编程 [8] 领域。统计关系人工智能方法的推理能力与深度学习的强大模式识别能力相得益彰。通常,神经符号系统将逻辑与神经网络相结合。概率论已经与逻辑(参见统计关系人工智能)和神经网络相结合。因此,考虑逻辑、神经网络和概率的集成是有意义的。这有效地导致了概率逻辑与神经网络的集成,并开辟了新的能力。此外,尽管乍一看,包括
致谢 中期审查工作组受益于许多人提出的意见和观察,这些意见和观察通常非常广泛,并且总是受到高度赞赏。这些贡献的价值得到了充分的认可。在一些情况下,这些观察是深刻的;工作组总是对这些意见进行深入考虑,但有时也认识到所提出的问题无法完全纳入本次中期审查的范围。此类评论已被记录下来,以便以后再关注。