研究文章|赚取象征性增强剂的行为/认知计算机制https://doi.org/10.1523/jneurosci.1873-23.2024收到:2023年10月2日被修订:2024年2月27日接受:2024年4月11日,2024年4月11日版权所有©20224 Burk burk et al。这是根据Creative Commons Attribution 4.0国际许可条款分发的开放访问文章,只要将原始工作正确归因于任何媒介,它允许在任何媒介中进行无限制的使用,分发和复制。
摘要 - 主要由深神经网络驱动的人工intel-ligence(AI)的显着进步面临着围绕不可持续的计算传统,有限的鲁棒性和缺乏解释性的挑战。为了开发下一代认知AI系统,神经符号AI成为一种有希望的范式,融合了神经和象征性方法,以增强可解释性,鲁棒性和信任性,同时促进从较少数据的数据中促进学习。最近的神经符号系统在与推理和认知能力的协作人类方案中表现出了巨大的潜力。在本文中,我们旨在了解神经符号AI的工作量特征和潜在的架构。我们首先系统地对神经符号AI算法进行分类,然后通过实验评估和分析它们的运行时,记忆,计算运算符,稀疏性,稀疏性以及CPU,GPU和EDGE SOC的系统特征。我们的研究表明,由于矢量符号和逻辑操作的记忆性质,复杂的流量控制,数据依赖性,稀疏性变化以及有限的可伸缩性,神经符号模型的效率低下效率低下。基于分析见解,我们建议跨层优化解决方案,以提高神经符号计算的性能,效率和可扩展性。最后,我们从系统和建筑学的角度讨论了神经符号AI的挑战和未来方向。
1. 逻辑推理。我们区分了两种逻辑推理方法:基于模型的和基于证明的。根据基于模型的观点,逻辑规则被解释为对布尔变量的一组约束。这种观点产生了 NeSy 方法,其中逻辑转化为神经网络的正则化损失。从证明论的角度来看,逻辑规则被视为推理规则,人们执行一系列推理步骤来获得查询的证明。这种观点导致了 NeSy 方法的产生,其中逻辑是神经网络架构的模板。2. 逻辑语法,我们根据命题、关系或一阶逻辑对系统进行分类。关系和一阶 NeSy 系统在其逻辑语句中引入逻辑变量,从而允许对其学习模块进行结构化(即模板化)定义。 3. 逻辑语义 ,为了实现基于梯度的学习,大多数 NeSy 系统引入了离散布尔逻辑语义的放宽。最常见的选择是模糊逻辑和概率逻辑。 4. 学习。NeSy 系统通常关注学习加权逻辑理论或神经网络权重的参数。一些系统还学习模型的结构,即逻辑规则的形状或神经模块的架构。 5. 符号与子符号。我们可以对比逻辑理论元素的两大类表示
计划是行动之前的审议思维行为(Haslum 2006)。它基于世界的符号模型及其在其中作用的选项,通常在功能 - 无函数的一阶逻辑中定义。规划师必须找到一系列行动(计划),该动作从当前状态带到了期望的目标状态。纯粹的物理描述可以通过部分有序的语法式结构(分层任务网络或HTN)进行增强,描述专家知识,或实用,法律或操作要求。在本次演讲中,我将使用符号方法来调查各种自动得出计划的方法。这些符号方法 - 从某种意义上说 - 将计划问题转化为其他,更简单的符号代表,并推理了这些方法,以找到计划。作为这些方法的基础,我首先将在计划中介绍相关的理论结果。首先,我将讨论规划形式主义的表现力(Houler等人2014; Houler等。2016)和第二,HTN计划的计算复杂及其相关任务,例如HTN计划验证,计划修改和计划识别(Behnke,Houler和Biundo 2015; Behnke等; Behnke等人2016)。基于这些理论结果,我将开发为什么基于SAT的HTN计划以及如何进行基于SAT的HTN计划。为此,我将在顶级会议上调查我的几个公开(Behnke,Houler和Biundo 2017,2018,2019a,b; Behnke等人。接下来,我提出了表达以SAT(Houler and Behnke 2022)的升级经典计划的想法。2020; Behnke 2021) - 在其中,我开发了一个基于SAT的HTN问题计划者,包括找到最佳计划以及接地的能力,以作为预处理步骤。由此产生的计划是第一个基于SAT的计划者 - 事实证明,在出版时表现出了高效且优于所有其他提起的计划者。值得注意的是,Lisat是第一位计划者(被解除或扎根),仍然是唯一一个解决具有挑战性的有机合成基准的计划者,甚至可以证明所有计划的最佳性。最后,我介绍了具有象征性表示的计划概念(Behnke和Speck 2021; Behnke等人。2023) - 使用二进制决策图(BDD)紧凑地编码大量状态。使用BDD注释的finenite自动机的组合,我们可以结构
就像他的前任,例如Siri,Cortana和Alexa一样,Chatgpt担任总助理。但是,他没有完全个性化的声音或独特的身份。尽管如此,一个名为“煽动工程”的新工作场所开发的技术已经开始塑造工具的使用方式来为其他几种AI和机器人代理创建特定的音调。这一开发在2023年在日内瓦的联合国顶级发挥了关键作用,在那里,变压器模型被用来为各种机器人设计个性,包括Sophia Le Robot,Demona,Grace和Amica,强调了符号学设计和在机器人领域的构建。
当前的学习模型通常难以实现像人类一样的系统泛化,特别是在从有限的数据中学习组合规则并将它们推断为新的组合时。我们引入了神经符号递归机(NSR),其核心是根基符号系统(GSS),允许直接从训练数据中产生组合语法和语义。NSR采用模块化设计,集成了神经感知、句法分析和语义推理。这些组件通过一种新颖的演绎-溯因算法进行协同训练。我们的研究结果表明,NSR的设计充满了等变性和组合性的归纳偏差,使其具有良好的表现力,可以熟练地处理各种序列到序列任务并实现无与伦比的系统泛化。我们在四个旨在探测系统泛化能力的具有挑战性的基准上评估了NSR的有效性:用于语义分析的SCAN、用于字符串操作的PCFG、用于算术推理的HINT和组合机器翻译任务。结果证实了 NSR 在泛化和可转移性方面优于当代神经和混合模型。
神经符号(NESY)AI致力于通过快速,可靠的预测来增强机器学习和大型语言模型,通过无缝整合神经和符号方法,表现出常识性和值得信赖的推理。在如此广泛的范围内,已经提出了几种分类法,以对这种集成进行分类,强调知识代表,推理算法和应用程序。我们对神经符号界面捕获方法捕获概率,逻辑和算术约束推理的神经符号界面捕获方法进行研究。此外,我们为杰出的学习损失类别的梯度和推理和学习的形式化而得出表达。通过严格的经验分析,跨越了三个任务,我们表明NESY方法在半监督的环境中对神经基础的影响达到了37%的证明,并且在提问方面的GPT-4提高了19%。
2特征方程式| λi -d f(x,µ)| = 0,其中d f(x,µ)是(x,µ)系统的雅各布矩阵,具有一对假想的根(λ(x,µ),λ(x,x,µ)),没有其他根部的根。99k(x,µ)Hopf Equilibria
在研究来自准晶体的薛定谔算子时,人们常常通过周期晶体近似底层动力学结构来研究它。这种方法的例子可以在早期的著作中看到,例如 [ OK85 、 MDO89 、 SB90 、 TFUT91 、 TCL93 ] 和最近的 [ SJ08 、 TGB + 14 、 EAMVD15 、 TDGG15 、 CRH19 、 BBDN20 ]。这是使用具有开放、周期或扭曲边界条件的有限体积近似值来完成的,同时试图最小化边界条件的影响。在本文中,我们处理具有周期势的无限近似值,用于估计来自无限晶格 Z 上非周期原子配置的薛定谔算子。使用 Bloch-Floquet 理论可以相对容易地理解这些无限周期近似值,该理论允许我们通过具有扭曲边界条件的有限体积算子来研究它们。例如,请参阅 [ MDMPAR06 ] 或 [ SV05 ]。我们考虑的薛定谔算子是紧束缚模型的简单情况,由下式给出
收到日期:2024 年 12 月 4 日;修订日期:2024 年 12 月 28 日;接受日期:2024 年 1 月 10 日;发布日期:2024 年 1 月 29 日;摘要 - 神经符号人工智能 (NeSy AI) 代表了自然语言处理 (NLP) 领域的一种突破性方法,将神经网络的模式识别与符号人工智能的结构化推理相结合,以解决人类语言的复杂性。本研究调查了神经符号人工智能在提供细致入微的理解和上下文相关响应方面的有效性,其驱动力是克服现有模型在处理复杂语言任务和抽象推理方面的局限性。该研究采用将多模态上下文建模与规则控制的推理和记忆激活相结合的混合方法,深入研究命名实体识别 (NER) 等特定应用,其中 BiLSTM + CRF 等架构通过分析整个句子上下文表现出更高的准确性。研究结果肯定了神经符号人工智能在增强语言解析、语义歧义解析和整体语言理解能力方面的潜力。值得注意的是,这项研究展示了在改进 NER 任务方面取得的重大进展,突出了这种方法的实际意义和有效性。这项研究表明,神经符号人工智能的发展体现了人们不断追求在机器和人类语言之间创造更复杂、更准确、更像人类的交互,有望对医疗保健和教育等各个领域产生变革性影响。这些发现为人工智能的未来研究和发展铺平了道路,突破了技术在理解和与人类语言互动方面的作用的界限。