本文提出了对知识代表和推理(KRR)和机器学习(ML)之间的会议点的初步调查,这两个领域在过去的四十年中已经很分开开发。首先,确定并讨论了一些常见的问题,例如所使用的表示类型,知识和数据的作用,缺乏或信息过多,或者需要解释和因果理解。然后,调查是在七个部分中组织的,涵盖了KRR和ML相遇的大多数领域。我们从有关学习和推理的文献中涉及原型方法的部分开始:归纳逻辑编程,统计关系学习和Neurosymbolic AI,其中基于规则的推理的思想与ML结合在一起。然后,我们专注于在学习中使用各种形式的背景知识,范围从损失功能中的其他正规化项到对齐符号和向量空间表示的问题,或者使用知识图来学习。然后,下一节描述了KRR概念如何对学习任务有益。例如,可以像发表数据挖掘的那样使用约束来影响学习模式。或在低射门学习中利用语义特征,以构成缺乏数据的内容;或者我们可以利用类比来学习目的。相反,另一部分研究了ML方法如何实现KRR目标。例如,可以学习特殊类型的规则,例如默认规则,模糊规则或阈值规则或特殊类型的信息,例如
本文提出了对知识表示与推理(KRR)与机器学习(ML)之间的会议点的初步调查,这两个领域在过去的四十年中已经很分开开发。首先,确定并讨论了一些常见的问题,例如所使用的表示类型,知识和数据的作用,缺乏或信息过多,或者需要解释和因果理解。然后,调查是在七个部分中组织的,涵盖了KRR和ML相遇的大多数领域。我们从有关学习和推理的文献中涉及典型方法的部分开始:归纳逻辑编程,统计关系学习和Neurosymbolic AI,其中基于规则的推理的思想与ML结合在一起。然后,我们专注于在学习中使用各种形式的背景知识,范围从损失功能中的其他正规化项到对齐符号和向量空间表示的问题,或者使用知识图来学习。然后,下一节描述了KRR概念如何对学习任务有益。例如,可以像发表数据挖掘的那样使用约束来影响学习模式。或在低射击学习中利用语义特征,以弥补缺乏数据;或者我们可以利用类比来学习目的。相反,另一部分研究了ML方法如何实现KRR目标。例如,人们可以学习特殊类型的规则,例如默认规则,模糊规则或阈值规则,或特殊类型的信息,例如约束或偏好。本节还涵盖正式概念
本文提出了对知识表示与推理(KRR)与机器学习(ML)之间的会议点的初步调查,这两个领域在过去的四十年中已经很分开开发。首先,确定并讨论了一些常见的问题,例如所使用的表示类型,知识和数据的作用,缺乏或信息过多,或者需要解释和因果理解。然后,调查是在七个部分中组织的,涵盖了KRR和ML相遇的大多数领域。我们从有关学习和推理的文献中涉及典型方法的部分开始:归纳逻辑编程,统计关系学习和Neurosymbolic AI,其中基于规则的推理的思想与ML结合在一起。然后,我们专注于在学习中使用各种形式的背景知识,范围从损失功能中的其他正规化项到对齐符号和向量空间表示的问题,或者使用知识图来学习。然后,下一节描述了KRR概念如何对学习任务有益。例如,可以像发表数据挖掘的那样使用约束来影响学习模式。或在低射击学习中利用语义特征,以弥补缺乏数据;或者我们可以利用类比来学习目的。相反,另一部分研究了ML方法如何实现KRR目标。例如,人们可以学习特殊类型的规则,例如默认规则,模糊规则或阈值规则,或特殊类型的信息,例如约束或偏好。本节还涵盖正式概念
摘要知识表示和推理的计算机科学领域(KRR)旨在像人类一样有效地理解,推理和解释知识。由于该领域的许多逻辑形式主义和推理方法已经表明了高阶学习的能力,例如抽象概念学习,将人工神经网络(ANN)与KRR方法集成到用于学习复杂和实用任务的KRR方法引起了很多关注。例如,神经张量网络(NTN)是神经网络模型,能够将符号表示为矢量空间,在这些模型中可以通过矩阵计算进行推理。当在逻辑张量网络(LTN)中使用时,它们能够将一阶逻辑符号(例如常数,事实和规则)嵌入到实值张量中。KRR和ANN的整合提出了将神经科学中的生物学灵感带入KRR的潜在途径。但是,高阶学习并不是人类大脑的独有性。昆虫,例如果蝇和蜜蜂,可以解决简单的关联学习任务,并学习抽象概念,例如“相同”和“差异”,这被视为高阶认知功能,通常被认为取决于自上而下的新皮层处理。用果蝇的实证研究强烈支持,即在昆虫大脑的嗅觉加工中使用了随机代表性结构。基于这些结果,我们提出了一个随机加权的特征网络(RWFN),该特征网络将随机绘制的未经训练的权重纳入编码器,该编码器使用适应性线性模型作为解码器。单个隐藏层神经网络在RWFN中模仿输入神经元和高阶处理中心之间的随机投影,该神经网络在RWFN中模仿,该神经网络使用kernel近似在输入之间更好地表示输入之间的复杂关系。由于这种特殊表示形式,RWFN可以通过仅训练线性解码器模型有效地学习输入之间的关系程度。我们将RWFN与LTN的性能进行比较,用于语义图像解释(SII)任务,这些任务被用作LTN如何利用一阶逻辑上的推理以超越仅数据驱动方法的性能的代表性示例。我们证明,与LTN相比,RWFN可以在对象分类和检测SII任务中对象之间的关系方面取得更好或类似的性能,同时使用更少的可学习参数(1:62比例)和更快的学习过程(1:2的运行速度比率)。此外,我们表明,由于随机权重不取决于数据,因此有几个解码器可以共享一个随机编码器,从而使RWFN具有独特的空间量表经济体,用于同时分类任务。
摘要知识表示和推理的计算机科学领域(KRR)旨在像人类一样有效地理解,推理和解释知识。由于该领域的许多逻辑形式主义和推理方法已经表明了高阶学习的能力,例如抽象概念学习,将人工神经网络(ANN)与KRR方法集成到用于学习复杂和实用任务的KRR方法引起了很多关注。例如,神经张量网络(NTN)是神经网络模型,能够将符号表示为矢量空间,在这些模型中可以通过矩阵计算进行推理。当在逻辑张量网络(LTN)中使用时,它们能够将一阶逻辑符号(例如常数,事实和规则)嵌入到实值张量中。KRR和ANN的整合提出了将神经科学中的生物学灵感带入KRR的潜在途径。但是,高阶学习并不是人类大脑的独有性。昆虫,例如果蝇和蜜蜂,可以解决简单的关联学习任务,并学习抽象概念,例如“相同”和“差异”,这被视为高阶认知功能,通常被认为取决于自上而下的新皮层处理。用果蝇的实证研究强烈支持,即在昆虫大脑的嗅觉加工中使用了随机代表性结构。基于这些结果,我们提出了一个随机加权的特征网络(RWFN),该特征网络将随机绘制的未经训练的权重纳入编码器,该编码器使用适应性线性模型作为解码器。单个隐藏层神经网络在RWFN中模仿输入神经元和高阶处理中心之间的随机投影,该神经网络在RWFN中模仿,该神经网络使用kernel近似在输入之间更好地表示输入之间的复杂关系。由于这种特殊表示形式,RWFN可以通过仅训练线性解码器模型有效地学习输入之间的关系程度。我们将RWFN与LTN的性能进行比较,用于语义图像解释(SII)任务,这些任务被用作LTN如何利用一阶逻辑上的推理以超越仅数据驱动方法的性能的代表性示例。我们证明,与LTN相比,RWFN可以在对象分类和检测SII任务中对象之间的关系方面取得更好或类似的性能,同时使用更少的可学习参数(1:62比例)和更快的学习过程(1:2的运行速度比率)。此外,我们表明,由于随机权重不取决于数据,因此有几个解码器可以共享一个随机编码器,从而使RWFN具有独特的空间量表经济体,用于同时分类任务。
注:报告结果包括五次交叉验证的平均值和括号中的标准差。对五次交叉验证的评估指标进行配对双样本 t 检验,显著性水平为 0.05,多重检验采用 Bonferroni 校正。粗体数字:结果明显优于其他两个模型。* 标记数字:结果明显优于仅使用静态 FC 的 KRR 模型。
KRR博士的杰出贡献得到了各种组织的尊重。他获得了印度计算机协会(CSI),印度享有声望的专业协会(Ahemadabad)和2020年(Bhuvaneswar)的“赞助人奖”。认识到他的行政能力,科学家协会,开发人员和学院(ASDF)通过Puducherry CM在2012年获得了“最佳院长”奖。他在2019年与印度服务器,Impact and Lions Club的“ Aacharya Ratna”一起受到了限制。在2022年获得了Bharath教育卓越奖的“ Bhishmacharya”奖。他在2023年获得了AKS教育奖的“全球教师”和2024年Aimer Society的“终身成就奖”。
课程工作 /准备工作:虽然我不需要任何特定的类别,但我希望强大的基本原理(线性代数,概率,统计,几何,几何,微积分,符号逻辑),强大的编程技能,并且优先在基本工程中的背景,例如信号处理,控制系统等。< / div> < / div> < / div> < / div> < / div> < / div>开始研究生院后,我希望在机器学习和计算机视觉中进行严格的研究生课程(在UMBC)以及一些互补的AI知识(通过研究生AI,NLP,KRR,RL等课程)。您不太可能为哲学做出贡献(这就是Ph。博士学位。代表),如果您只参加计算机科学课程 - 实际上,它通常会导致对世界的非常近视的看法。 我鼓励在部门以外上课(例如 遗传学,动物行为,心理学,经济学,数学,文学)。博士学位。代表),如果您只参加计算机科学课程 - 实际上,它通常会导致对世界的非常近视的看法。我鼓励在部门以外上课(例如遗传学,动物行为,心理学,经济学,数学,文学)。
tadah!代码提供了一个多功能平台,用于开发和优化机器学习间的原子质潜力(MLIP)。通过集成综合描述符,它允许对系统交互的细微表示,并具有独特的截止函数和交互距离。tadah!支持贝叶斯线性回归(BLR)和内核脊回归(KRR),以增强模型的准确性和不确定性管理。关键特征是其超参数优化周期,迭代精炼模型体系结构以提高可传递性。这种方法结合了构图的限制,将预测与实验和理论数据保持一致。tadah!提供了一个用于LAMMP的接口,从而使MLIP在分子动力学模拟中的部署。它专为广泛的可及性而设计,支持桌面和HPC系统上的并行计算。tadah!利用模块化的C ++代码库,利用编译时间和运行时多态性来灵活性和效率。神经网络支持和预定义的粘结方案是潜在的未来发展,以及塔达!仍然对社区驱动的功能扩展开放。综合文档和命令行工具进一步简化了MLIP的开发和应用。
深入了解不确定性是做出不确定情况下有效决策的第一步。深度/机器学习 (ML/DL) 已被广泛用于解决处理高维数据的复杂问题。然而,与其他人工智能 (AI) 领域相比,ML/DL 中对推理和量化不同类型的不确定性以实现有效决策的探索要少得多。特别是,自 1960 年代以来,KRR 中就开始研究信念/证据理论,以推理和衡量不确定性,从而提高决策效率。我们发现,只有少数研究利用 ML/DL 中信念/证据理论中成熟的不确定性研究来解决不同类型不确定性下的复杂问题。在这篇综述论文中,我们讨论了几种流行的信念理论及其核心思想,这些思想处理不确定性的原因和类型并对其进行量化,并讨论了它们在 ML/DL 中的适用性。此外,我们还讨论了深度神经网络 (DNN) 中利用信念理论的三种主要方法,包括证据 DNN、模糊 DNN 和粗糙 DNN,以及它们的不确定性原因、类型和量化方法以及它们在不同问题领域的适用性。基于我们的深入调查,我们讨论了当前最先进的桥接信念理论和 ML/DL 的见解、经验教训和局限性,最后讨论了未来的研究方向。