XiaoMi-AI文件搜索系统
World File Search SystemReasoning
增强具有生成负面挖掘的视觉语言模型的多模式组成推理
当代的大规模视觉语言模型（VLM）具有强大的表示能力，使它们无处不在，可以增强图像和文本理解任务。他们经常以对比的方式受到大量图像和相应的文本字幕的对比方式进行训练。尽管如此，VLMS经常在构图推理任务上挣扎，这些任务对对象及其属性的复杂相互作用进行了精细的了解。此失败可以归因于两个主要因素：1）对比的方法传统上专注于从现有数据集中开采负面示例。但是，该模型可能不难区分阳性检查。替代采矿的替代方法是负样本2），但现有的生成方法主要集中于生成与给定图像相关的硬性负面文本。在另一个方向上进行挖掘，即生成与给定文本相关的负面图像样本已被忽略。为了克服这两种限制，我们提出了一个框架，不仅在两个方向上矿山，而且在这两种方式（即图像和文本）中产生了有挑战性的负面样本。利用这些生成硬性负样本，我们在涉及多模式综合推理的任务中显着提高了VLMS的性能。我们的代码和数据集在https://ugorsahin.github.io/enhancing-- vlm.html上发布。
运用辩论动态进行知识图谱推理
我们提出了一种基于辩论动态的知识图谱自动推理新方法。其主要思想是将三重分类任务构建为两个强化学习代理之间的辩论游戏，它们提取论据（知识图谱中的路径），目标是分别促使事实为真（论点）或事实为假（反论点）。基于这些论据，一个称为评判者的二元分类器决定事实是真是假。这两个代理可被视为稀疏的对抗性特征生成器，为论点或反论点提供可解释的证据。与其他黑箱方法相比，这些论据让用户能够了解评判者的决定。由于这项工作的重点是创建一种可解释的方法以保持具有竞争力的预测准确率，因此我们在三重分类和链接预测任务上对我们的方法进行了基准测试。因此，我们发现我们的方法在基准数据集 FB15k-237、WN18RR 和 Hetionet 上的表现优于几个基线。我们还进行了一项调查，发现提取的参数对用户很有帮助。
MR图像超级分辨率与挤压和激发推理注意力网络
高质量的高分辨率（HR）磁共振（MR）图像提供了更详细的信息，可用于可靠的诊断和定量图像分析。深度综合神经网络（CNN）显示出低分辨率（LR）MR图像的MR图像超分辨率（SR）的有希望的Abil。LR MR图像通常具有一些vi-Sual特征：重复模式，相对简单的结构和信息较少的背景。大多数以前的基于CNN的SR方法同样处理空间像素（包括背景）。他们也无法感知输入的整个空间，这对于高质量的MR IMPIMSR至关重要。为了解决这些问题，我们提出了挤压和激发推理注意网络（SERAN），以获得MR Image SR。我们建议从输入的全球空间信息中挤出注意力，并获得全球描述符。这样的全球描述符增强了网络专注于MR图像中更具信息区域和结构的能力。我们在这些全球描述符之间进一步建立了关系，并提出了引起关注的原始关系。全球描述符将以学习的关注进一步确定。为了充分利用汇总信息，我们通过学习的自适应注意向量自适应地重新校准了特征响应。这些注意向量选择一个全局描述符的子集，以补充每个空间位置以进行准确的细节和纹理重新分解。我们通过残留的缩放提出挤压和激发注意力，这不仅可以稳定训练，而且还使其对其他基本网络的灵感变得非常灵活。广泛的例证显示了我们提出的Seran的有效性，该塞伦在定量和视觉上清楚地超过了基准标记的最新方法。
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
认知灵感的反应性机器人的推理
摘要。在自然环境中具有综合性运作的情境意识到的人工药物面临着几个挑战：空间意识，对象效果检测，动态变化和不可预测性。一个关键的挑战是代理商识别和监视与其目标有关的环境要素的能力。我们的研究介绍了一种用于反应性机器人技术的神经符号模块化体系结构。我们的系统结合了在环境和图像处理技术（如光流）上执行对象识别的神经组件，以及符号表示和推理。通过将图像示意性知识整合在本体论结构中，推理系统基于体现认知范式的基础。该本体可用于创建有关感知系统的查询，决定符合的问题，并推断从感知数据中得出的实体功能。推理和图像处理的组合允许代理对正常操作的看法，并发现针对特定相互作用中涉及的对象的一部分的新概念。发现的概念允许机器人自主获取培训数据并只是其符号的感知来识别零件，并通过将搜索重点放在这些相关对象的零件上，从而为更复杂的任务进行计划。我们在模拟世界中演示了我们的方法，在模拟世界中，代理商学会了识别涉及支持关系的对象的一部分。虽然代理商最初没有概念，但通过观察从钩子上悬挂的支持对象的示例，但它学会了认识到建立支持所涉及的部分并能够计划支持关系的建立/破坏。这可以通过系统的方式通过观察来扩展其知识的能力，并说明了将深层推理与动态设置中的反应性机器人技术相结合的潜力。
视觉问题的跨模式关系推理网络回答
视觉问题回答（VQA）是一项具有挑战性的任务，需要通过关系推理对图像和问题进行跨模式理解，从而导致正确答案。为了弥合这两种方式之间的语义差距，以前的作品着重于所有可能对的单词区域对齐，而无需更多地关注相应的单词和对象。同样处理所有对，而无需考虑关系一致性，这是模型的性能。在本文中，为了对齐关系对并整合VQA系统的解释性，我们提出了一个跨模式的关系构建网络（CRRN），以掩盖不一致的注意力图，并突出相应单词对的全部潜在比对。具体来说，我们提出了两个相关性掩码，用于模式间和模式内突出显示，从而推断出图像中句子或区域中越重要的单词。可以通过掩盖未对齐的关系来增强一致对的关注相互关系。然后，我们提出了两个新颖的损失L CMAM和L SMAM，并具有明确的超级视觉，以捕获视觉和语言之间的细粒度相互作用。我们进行了彻底的实验来证明有效性并实现了GQA基准的竞争性绩效，以达到61.74％。
知道您的邻居：通过空间视觉语言推理改善单视的重建
从单个视图中恢复3D场景几何形状是计算机视觉中的基本问题。虽然经典的深度估计方法仅推断出2.5D场景表示为图像平面，但最新的基于辐射范围的aperach是重建完整的3D代表。然而，这些方法仍然在被占地的区域困难，因为没有视觉观察的几何形状需要（i）周围的语义知识，以及（ii）关于空间上下文的推理。我们提出了Kyn，这是一种单视场景重建的新方法，其原因是语义和空间上下文来预测每个点的密度。我们引入了一个视觉模块模块，以使用细粒度的语义信息丰富点特征。我们通过语言引导的空间注意机制在整个场景中汇总了点表示，以产生意识到3D语义环境的每点密度预测。我们表明，与预测每个3D点的密度相比，Kyn改善了3D形状的恢复。我们在Kitti-360上实现了最新的场景和对象重建结果，并且与先前的工作相比，零弹性概括的改进。项目页面：https：//ruili3.github.io/kyn。
