XiaoMi-AI文件搜索系统
World File Search SystemNeSy
从统计关系到神经符号人工智能
1. 逻辑推理。我们区分了两种逻辑推理方法：基于模型的和基于证明的。根据基于模型的观点，逻辑规则被解释为对布尔变量的一组约束。这种观点产生了 NeSy 方法，其中逻辑转化为神经网络的正则化损失。从证明论的角度来看，逻辑规则被视为推理规则，人们执行一系列推理步骤来获得查询的证明。这种观点导致了 NeSy 方法的产生，其中逻辑是神经网络架构的模板。2. 逻辑语法，我们根据命题、关系或一阶逻辑对系统进行分类。关系和一阶 NeSy 系统在其逻辑语句中引入逻辑变量，从而允许对其学习模块进行结构化（即模板化）定义。 3. 逻辑语义 ，为了实现基于梯度的学习，大多数 NeSy 系统引入了离散布尔逻辑语义的放宽。最常见的选择是模糊逻辑和概率逻辑。 4. 学习。NeSy 系统通常关注学习加权逻辑理论或神经网络权重的参数。一些系统还学习模型的结构，即逻辑规则的形状或神经模块的架构。 5. 符号与子符号。我们可以对比逻辑理论元素的两大类表示
神经符号人工智能在自然语言处理方面是否能实现其承诺？结构化评论
摘要。神经符号人工智能 (NeSy) 的倡导者断言，将深度学习与符号推理相结合将产生比单独使用任何一种范式都更强大的人工智能。尽管深度学习取得了成功，但人们普遍认为，即使是我们最好的深度学习系统也不太擅长抽象推理。而且由于推理与语言密不可分，因此直觉上自然语言处理 (NLP) 将成为 NeSy 的特别合适的候选对象。我们对将 NeSy 用于 NLP 的研究进行了结构化审查，目的是回答 NeSy 是否确实实现了其承诺的问题：推理、分布外泛化、可解释性、从小数据中学习和推理以及可转移到新领域。我们研究了知识表示（例如规则和语义网络、语言结构和关系结构）的影响，以及隐式或显式推理是否有助于提高承诺分数。我们发现，将逻辑编译到神经网络中的系统可以实现大多数 NeSy 目标，而其他因素（例如知识表示或神经结构类型）与实现目标没有明显的相关性。我们发现在推理的定义方式上存在许多差异，特别是与人类水平的推理有关，这会影响有关模型架构的决策并导致结论在各个研究中并不总是一致的。因此，我们主张采用更有条理的方法来应用人类推理理论以及制定适当的基准，我们希望这可以更好地理解该领域的进展。我们将数据和代码放在 github 上以供进一步分析。1
引文 (APA) Marra, G.、Dumančić, S.、Manhaeve, R. 和 De Raedt, L. (2024)。从统计关系到神经符号人工智能：一项调查。人工智能，328，文章 104062。https://doi.org/10.1016/j.artint.2023.104062
本综述探讨了两个不同人工智能领域中学习和推理的整合，即神经符号人工智能和统计关系人工智能。神经符号人工智能（NeSy）研究符号推理和神经网络的整合，而统计关系人工智能（StarAI）则侧重于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们关注的是（1）逻辑推理的方法，无论是基于模型还是基于证明；（2）所用逻辑理论的语法；（3）系统的逻辑语义及其促进学习的扩展；（4）学习范围，包括参数或结构学习；（5）符号和亚符号表示的存在；（6）系统捕捉原始逻辑、概率和神经范式的程度； （7）系统适用的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点，本综述为理解学习和推理的整合贡献了基本概念。
从统计关系到神经符号人工智能：一项调查。
本综述探讨了人工智能两个不同领域中学习和推理的整合：神经符号人工智能和统计关系人工智能。神经符号人工智能 (NeSy) 研究符号推理和神经网络的整合，而统计关系人工智能 (StarAI) 则专注于将逻辑与概率图模型相结合。本综述确定了这两个人工智能子领域之间七个共同的维度。这些维度可用于描述不同的 NeSy 和 StarAI 系统。它们涉及 (1) 逻辑推理的方法，无论是基于模型还是基于证明；(2) 所用逻辑理论的语法；(3) 系统的逻辑语义及其促进学习的扩展；(4) 学习范围，包括参数或结构学习；(5) 符号和亚符号表示的存在；(6) 系统捕捉原始逻辑、概率和神经范式的程度；(7) 系统应用于的学习任务类别。通过沿着这些维度定位各种 NeSy 和 StarAI 系统并指出它们之间的相似点和不同点，本调查为理解学习和推理的整合贡献了基本概念。
使用基于能量的模型的神经符号推理的建模模式
神经符号（NESY）AI致力于通过快速，可靠的预测来增强机器学习和大型语言模型，通过无缝整合神经和符号方法，表现出常识性和值得信赖的推理。在如此广泛的范围内，已经提出了几种分类法，以对这种集成进行分类，强调知识代表，推理算法和应用程序。我们对神经符号界面捕获方法捕获概率，逻辑和算术约束推理的神经符号界面捕获方法进行研究。此外，我们为杰出的学习损失类别的梯度和推理和学习的形式化而得出表达。通过严格的经验分析，跨越了三个任务，我们表明NESY方法在半监督的环境中对神经基础的影响达到了37％的证明，并且在提问方面的GPT-4提高了19％。
从统计关系到神经符号人工智能：一项调查。
学习与推理的融合是当今人工智能和机器学习面临的关键挑战之一，各个社区都在努力解决这一问题。对于神经符号计算 (NeSy) 领域尤其如此 [ 11 , 23 ]，其目标是整合符号推理和神经网络。NeSy 已经有悠久的传统，最近引起了各个社区的广泛关注（参见Y. Bengio 和 H. Kautz 在 AAAI 2020 上关于这个主题的主题演讲，Y. Bengio 和 G. Marcus 之间的 AI 辩论 [ 10 ]）。另一个在融合学习和推理方面有着丰富传统的领域是统计关系学习和人工智能 (StarAI) [ 41 , 89 ]。但是，它不是专注于整合逻辑和神经网络，而是围绕着将逻辑与概率推理（更具体地说是概率图模型）相结合的问题。尽管人们共同关注将符号推理与学习的基本范式（即概率图模型或神经网络）相结合，但令人惊讶的是，这两个领域之间并没有更多的相互作用。这种差异是本次调查背后的主要动机：它旨在指出这两项努力之间的相似之处，并希望以这种方式促进相互影响。为此，我们从 StarAI 的文献开始，
神经符号人工智能
我们首先应该尝试定义主题。一般来说，我们将神经符号人工智能（简称 NeSy AI）理解为人工智能（简称 AI）领域的一个子领域，该领域致力于将人工智能中的神经和符号传统结合在一起以增加价值。当前使用了不同的拼写，包括神经符号和神经符号，也包括符号亚符号和其他 - 我们认为它们是相同的。在这种情况下，术语神经是指广义上的人工神经网络或联结系统的使用。术语符号是指基于显式符号操作的人工智能方法。这通常包括术语重写、图形算法和自然语言问答等。然而，它通常被更狭义地理解为基于形式逻辑的方法，例如在人工智能的子领域“知识表示和推理”中所使用的方法。然而，这些界限很容易模糊，出于本概述的目的，我们不会将自己局限于基于逻辑的方法。NeSy AI 的总体前景在于希望实现两全其美的局面，其中神经和符号方法的互补优势可以以有利的方式结合起来。在神经方面，理想的优势包括可从原始数据进行训练和对底层数据故障的鲁棒性，而在符号方面，人们希望保留这些系统固有的高可解释性和可证明的正确性，以及在其设计和功能中轻松利用人类专家的深厚知识。在功能特征方面，将符号方法与机器学习（尤其是目前研究最为活跃的深度学习）相结合，人们希望在词汇处理、小数据集训练、错误恢复以及总体可解释性等问题上做得更好，而不是仅仅依赖深度学习的系统。神经和符号人工智能方法之间的一个根本区别与我们的讨论有关，即人工智能系统中信息的表示。对于符号系统，表示是明确的，原则上人类可以理解。例如，正方形（x）→长方形（x）这样的规则很容易通过符号方式理解和操作。然而，在神经系统中，表示通常是通过（许多）神经元之间的加权连接和/或对（可能大量）神经元的同时激活来实现的。特别是，人类观察者无法轻易识别所表示的内容。
神经符号人工智能：最新技术 - Lirias
[书名、编辑、印刷 ISBN 或在线 ISBN、页数、年份和 DOI 或 URL]。人们普遍认为，学习和推理对于实现真正的（人工智能）都至关重要 [1]。这也解释了为什么神经符号人工智能 (NeSy) [2、3、4、5]（它将高级推理与低级感知相结合）的探索在研究议程中占据重要地位。推理的两个最突出的框架是逻辑和概率。</div>虽然在过去，它们是由人工智能领域的不同社区进行研究的，但大量研究人员一直致力于将它们整合，并旨在将概率与逻辑和统计学习结合起来；参见统计关系人工智能 (StarAI) [6、7] 和概率逻辑编程 [8] 领域。统计关系人工智能方法的推理能力与深度学习的强大模式识别能力相得益彰。通常，神经符号系统将逻辑与神经网络相结合。概率论已经与逻辑（参见统计关系人工智能）和神经网络相结合。因此，考虑逻辑、神经网络和概率的集成是有意义的。这有效地导致了概率逻辑与神经网络的集成，并开辟了新的能力。此外，尽管乍一看，包括
自然语言处理和神经符号人工智能
收到日期：2024 年 12 月 4 日；修订日期：2024 年 12 月 28 日；接受日期：2024 年 1 月 10 日；发布日期：2024 年 1 月 29 日；摘要 - 神经符号人工智能 (NeSy AI) 代表了自然语言处理 (NLP) 领域的一种突破性方法，将神经网络的模式识别与符号人工智能的结构化推理相结合，以解决人类语言的复杂性。本研究调查了神经符号人工智能在提供细致入微的理解和上下文相关响应方面的有效性，其驱动力是克服现有模型在处理复杂语言任务和抽象推理方面的局限性。该研究采用将多模态上下文建模与规则控制的推理和记忆激活相结合的混合方法，深入研究命名实体识别 (NER) 等特定应用，其中 BiLSTM + CRF 等架构通过分析整个句子上下文表现出更高的准确性。研究结果肯定了神经符号人工智能在增强语言解析、语义歧义解析和整体语言理解能力方面的潜力。值得注意的是，这项研究展示了在改进 NER 任务方面取得的重大进展，突出了这种方法的实际意义和有效性。这项研究表明，神经符号人工智能的发展体现了人们不断追求在机器和人类语言之间创造更复杂、更准确、更像人类的交互，有望对医疗保健和教育等各个领域产生变革性影响。这些发现为人工智能的未来研究和发展铺平了道路，突破了技术在理解和与人类语言互动方面的作用的界限。
基于意图的神经符号人工智能 (AI) ...
摘要 — 集成复杂机器推理技术的基于意图的网络将成为未来无线 6G 系统的基石。基于意图的通信要求网络考虑数据传输的语义（含义）和有效性（在最终用户处）。如果 6G 系统要以更少的比特可靠地通信，同时为异构用户提供连接，这一点至关重要。本文与缺乏数据可解释性的最先进技术相反，提出了神经符号人工智能 (NeSy AI) 框架作为学习观察到的数据背后的因果结构的支柱。特别是，生成流网络 (GFlowNet) 的新兴概念首次在无线系统中用于学习生成数据的概率结构。此外，为了实现更高的语义可靠性，严格制定了一个用于学习最佳编码和解码函数的新型优化问题。开发了新的分析公式来定义语义消息传输的关键指标，包括语义失真、语义相似性和语义可靠性。这些语义度量函数依赖于知识库中语义内容的定义，而这种信息度量反映了节点的推理能力。仿真结果验证了高效通信的能力（使用更少的比特但具有相同的语义），并且与不利用推理能力的传统系统相比，性能明显更好。I. 引言未来的无线系统（例如 6G）如果要集成时间关键型自主系统应用，则必须在传输内容方面更加谨慎。正如香农 (Shannon) [1] 所指出的，传统无线系统注重可靠地发送物理比特，而不注重语义和有效性层。与传输全部数据相比，只发送对接收方有用的信息自然在延迟、带宽利用率和能量方面更有效率（不会影响可靠性）[2]。这是所谓基于意图的语义通信 (SC) 系统 [3] 的核心前提。基于意图的网络是一种自主系统，它定义了它们期望从网络获得的行为，例如“改善网络质量”，然后系统会自动将其转换为实时网络操作。整合语义和有效性方面以创建基于意图的无线网络需要重大的范式转变 [2]–[4]。它特别要求传输和接收节点不再只是盲目设备（来回传输数据），而是成为能够理解和推理数据及其生成方式的类脑设备。一种有前途的方法是将知识表示和推理工具与机器学习相结合。一旦智能嵌入到发送器和接收器中，通信设备就可以感知（数据采集）、预处理并高效通信，而不会产生不必要的网络瓶颈（通过发送大量不必要的数据）。尽管