XiaoMi-AI文件搜索系统
World File Search System推理
视觉问题的跨模式关系推理网络回答
视觉问题回答（VQA）是一项具有挑战性的任务，需要通过关系推理对图像和问题进行跨模式理解，从而导致正确答案。为了弥合这两种方式之间的语义差距，以前的作品着重于所有可能对的单词区域对齐，而无需更多地关注相应的单词和对象。同样处理所有对，而无需考虑关系一致性，这是模型的性能。在本文中，为了对齐关系对并整合VQA系统的解释性，我们提出了一个跨模式的关系构建网络（CRRN），以掩盖不一致的注意力图，并突出相应单词对的全部潜在比对。具体来说，我们提出了两个相关性掩码，用于模式间和模式内突出显示，从而推断出图像中句子或区域中越重要的单词。可以通过掩盖未对齐的关系来增强一致对的关注相互关系。然后，我们提出了两个新颖的损失L CMAM和L SMAM，并具有明确的超级视觉，以捕获视觉和语言之间的细粒度相互作用。我们进行了彻底的实验来证明有效性并实现了GQA基准的竞争性绩效，以达到61.74％。
结合机器学习、知识表示和符号推理的神经符号......
为了处理现实世界中的噪声数据和不完整信息，我们将机器学习的通用性和抗噪性与知识表示和符号推理的严谨性和可重用性相结合，构建能够灵活应对未知情况的强大人工智能。我们还旨在将AI应用到以前从未应用过的领域，例如估计COVID-19的基因网络，预测辐射下的细胞动态以及基于媒体数据分析行为。
人工智能可以从数据中学习。但它能学会推理吗？
定理 1：对于一个具有 n 层和 12 个注意力头的 BERT 模型，通过构造，存在一组参数，使得该模型可以正确解决 SimpleLogic 中任何最多需要 n-2 步推理的推理问题。
使用变分循环神经网络进行主动推理，为习惯智能体进行目标导向规划
摘要：至关重要的是要问，代理如何仅使用通过习惯性感觉运动经验获得的部分世界模型来生成行动计划，从而实现目标。尽管许多现有的机器人研究都使用了前向模型框架，但存在高自由度的泛化问题。当前的研究表明，采用生成模型的预测编码 (PC) 和主动推理 (AIF) 框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化，该先验分布表示从习惯性感觉运动轨迹中提取的概率结构。在我们提出的模型中，学习是通过推断最佳潜在变量以及突触权重来最大化证据下限来进行的，而目标导向规划是通过推断潜在变量来最大化估计下限来完成的。我们提出的模型在模拟中使用简单和复杂的机器人任务进行了评估，通过为正则化系数设置中间值，证明了在有限的训练数据下学习中具有足够的泛化能力。此外，比较模拟结果表明，由于先验学习将运动计划的搜索限制在习惯轨迹范围内，因此所提出的模型在目标导向规划中优于传统的前向模型。
运用辩论动态进行知识图谱推理
我们提出了一种基于辩论动态的知识图谱自动推理新方法。其主要思想是将三重分类任务构建为两个强化学习代理之间的辩论游戏，它们提取论据（知识图谱中的路径），目标是分别促使事实为真（论点）或事实为假（反论点）。基于这些论据，一个称为评判者的二元分类器决定事实是真是假。这两个代理可被视为稀疏的对抗性特征生成器，为论点或反论点提供可解释的证据。与其他黑箱方法相比，这些论据让用户能够了解评判者的决定。由于这项工作的重点是创建一种可解释的方法以保持具有竞争力的预测准确率，因此我们在三重分类和链接预测任务上对我们的方法进行了基准测试。因此，我们发现我们的方法在基准数据集 FB15k-237、WN18RR 和 Hetionet 上的表现优于几个基线。我们还进行了一项调查，发现提取的参数对用户很有帮助。
数学和科学教育中的定量推理
数字时代的数学教育（MEDE）系列探讨了数字技术支持数学教学和网络Geners学习的方式，也关注教育辩论。每卷都将在数学教育中解决一个特定问题（例如，视觉数学和网络学习；基于包容性和社区的电子学习；在数字时代的教学），以探索在数字技术的情况下探索有关教学和学习数学的基本假设。本系列旨在吸引各种各样的读者，包括：数学教育研究人员，数学家，认知科学家和计算机科学家，教育研究生，政策制定者，教育软件开发人员，管理人员和教师实践者。除其他外，本系列发表的高质量科学工作将解决与新一代数学学生的教学法和数字技术适用性有关的问题。该系列还将为读者提供更深入的了解，以了解创新的教学实践如何出现，进入课堂，并塑造成长为技术的年轻学生的学习。该系列还将介绍如何桥接理论和实践，以增强当今学生的不同学习方式，并将他们的动力和自然兴趣转变为对有意义的数学学习的额外支持。该系列为发现数字技术对学习成果的影响及其整合到有效的教学实践中的影响提供了机会；数学教育软件在教学和课程转换方面的潜力；以及数学电子学习的力量，是包容性和基于社区的，但个性化和实践的力量。
脱机模仿学习与各种反事实推理
在离线模仿学习（IL）中，代理商旨在学习最佳的专家行为政策，而无需其他在线环境互动。但是，在许多现实情况下，例如机器人操纵，脱机数据集是从次优行为中收集的，没有奖励。由于稀缺的专家数据，这些代理通常会简单地记住较差的轨迹，并且容易受到环境变化的影响，因此缺乏对新环境推广的能力。要自动生成高质量的专家数据并提高代理的概括能力，我们提出了一个名为ffline i的框架，即通过进行反事实推断，并使用c oferfactual数据a u摄量（oilca）。尤其是我们利用可识别的变异自动编码器来生成反事实样本以进行专家数据增强。我们理论上分析了生成的专家数据的影响和概括的改进。此外，我们进行了广泛的实验，以证明我们的方法在两个d eep m ind c introl s uite基准测试基准上的分布性能和c ausal w orld w orld w orld w orld w orld w orld w orld基准的表现显着超过了各种基准。
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
增强具有生成负面挖掘的视觉语言模型的多模式组成推理
当代的大规模视觉语言模型（VLM）具有强大的表示能力，使它们无处不在，可以增强图像和文本理解任务。他们经常以对比的方式受到大量图像和相应的文本字幕的对比方式进行训练。尽管如此，VLMS经常在构图推理任务上挣扎，这些任务对对象及其属性的复杂相互作用进行了精细的了解。此失败可以归因于两个主要因素：1）对比的方法传统上专注于从现有数据集中开采负面示例。但是，该模型可能不难区分阳性检查。替代采矿的替代方法是负样本2），但现有的生成方法主要集中于生成与给定图像相关的硬性负面文本。在另一个方向上进行挖掘，即生成与给定文本相关的负面图像样本已被忽略。为了克服这两种限制，我们提出了一个框架，不仅在两个方向上矿山，而且在这两种方式（即图像和文本）中产生了有挑战性的负面样本。利用这些生成硬性负样本，我们在涉及多模式综合推理的任务中显着提高了VLMS的性能。我们的代码和数据集在https://ugorsahin.github.io/enhancing-- vlm.html上发布。