•Yan Wang,博士学位| DTP I副总监| ORS | OGD | CDER•Mark Donnelly,博士学位| DQMM高级药物学家| ORS | OGD | CDER•Qiangnan Zhang,博士学位| DTP I | ORS | OGD | CDER•Ying Jiang,PhD |化学家,DTP I | ORS | OGD | CDER•Pamela Dorsey,博士| DB III高级药物学家| OB | OGD | CDER•Christopher Morgan,博士| DPTR药理学家| OSCE | OGD | cder
1. 逻辑推理。我们区分了两种逻辑推理方法:基于模型的和基于证明的。根据基于模型的观点,逻辑规则被解释为对布尔变量的一组约束。这种观点产生了 NeSy 方法,其中逻辑转化为神经网络的正则化损失。从证明论的角度来看,逻辑规则被视为推理规则,人们执行一系列推理步骤来获得查询的证明。这种观点导致了 NeSy 方法的产生,其中逻辑是神经网络架构的模板。2. 逻辑语法,我们根据命题、关系或一阶逻辑对系统进行分类。关系和一阶 NeSy 系统在其逻辑语句中引入逻辑变量,从而允许对其学习模块进行结构化(即模板化)定义。 3. 逻辑语义 ,为了实现基于梯度的学习,大多数 NeSy 系统引入了离散布尔逻辑语义的放宽。最常见的选择是模糊逻辑和概率逻辑。 4. 学习。NeSy 系统通常关注学习加权逻辑理论或神经网络权重的参数。一些系统还学习模型的结构,即逻辑规则的形状或神经模块的架构。 5. 符号与子符号。我们可以对比逻辑理论元素的两大类表示
本综述探讨了两个不同人工智能领域中学习和推理的整合,即神经符号人工智能和统计关系人工智能。神经符号人工智能(NeSy)研究符号推理和神经网络的整合,而统计关系人工智能(StarAI)则侧重于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们关注的是(1)逻辑推理的方法,无论是基于模型还是基于证明;(2)所用逻辑理论的语法;(3)系统的逻辑语义及其促进学习的扩展;(4)学习范围,包括参数或结构学习;(5)符号和亚符号表示的存在;(6)系统捕捉原始逻辑、概率和神经范式的程度; (7)系统适用的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点,本综述为理解学习和推理的整合贡献了基本概念。
本综述探讨了人工智能两个不同领域中学习和推理的整合:神经符号人工智能和统计关系人工智能。神经符号人工智能 (NeSy) 研究符号推理和神经网络的整合,而统计关系人工智能 (StarAI) 则专注于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们涉及 (1) 逻辑推理的方法,无论是基于模型还是基于证明;(2) 所用逻辑理论的语法;(3) 系统的逻辑语义及其促进学习的扩展;(4) 学习范围,包括参数或结构学习;(5) 符号和亚符号表示的存在;(6) 系统捕捉原始逻辑、概率和神经范式的程度;(7) 系统应用于的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点,本调查为理解学习和推理的整合贡献了基本概念。
学习与推理的融合是当今人工智能和机器学习面临的关键挑战之一,各个社区都在努力解决这一问题。对于神经符号计算 (NeSy) 领域尤其如此 [ 11 , 23 ],其目标是整合符号推理和神经网络。NeSy 已经有悠久的传统,最近引起了各个社区的广泛关注(参见Y. Bengio 和 H. Kautz 在 AAAI 2020 上关于这个主题的主题演讲,Y. Bengio 和 G. Marcus 之间的 AI 辩论 [ 10 ])。另一个在融合学习和推理方面有着丰富传统的领域是统计关系学习和人工智能 (StarAI) [ 41 , 89 ]。但是,它不是专注于整合逻辑和神经网络,而是围绕着将逻辑与概率推理(更具体地说是概率图模型)相结合的问题。尽管人们共同关注将符号推理与学习的基本范式(即概率图模型或神经网络)相结合,但令人惊讶的是,这两个领域之间并没有更多的相互作用。这种差异是本次调查背后的主要动机:它旨在指出这两项努力之间的相似之处,并希望以这种方式促进相互影响。为此,我们从 StarAI 的文献开始,