XiaoMi-AI文件搜索系统
World File Search SystemLanguage
开放式对象检测的生成区域训练
在最近的研究中，已对开放式摄制对象检测任务进行了大量关注，旨在概括训练期间标记的类别的有限级别，并检测推理时任意类别名称所描述的对象。与常规对象检测相比，打开的词汇对象检测在很大程度上扩展了对象检测类别。但是，它依赖于计算图像区域与一组具有验证视觉和语言模型的任意类别名称之间的相似性。这意味着，尽管具有开放式的性质，但该任务仍然需要在推理阶段的预定义对象类别。这提出了一个问题：如果我们在推理中对对象类别没有确切的了解，该怎么办？在本文中，我们称之为新的设置为生成性开放式对象检测，这是一个更普遍和实际的问题。为了解决它，我们将对象检测形式为生成问题，并提出了一个名为generateu的简单框架，该框架可以检测密集的对象并以自由形式的方式生成其名称。尤其是，我们采用可变形的DETR作为区域促成生成器，其语言模型将视觉区域转换为对象名称。为了评估自由形式的对象划分任务，我们介绍了一种评估方法，旨在定量测量生成量的性能。广泛的实验表明我们的生成量强烈的零射击性能。代码可在以下网址获得：https：//github.com/foundationvision/generateu。例如，在LVIS数据集上，我们的GenerateU在推理过程中属于类别名称，即类别名称无法看到类别名称，即使类别名称看不见类别名称，我们的GenerateU也可以与开放式唱机对象检测方法GLIP相当。
视觉导航的体积环境表示
Vision语言导航（VLN）要求代理在基于视觉观察和自然语言说明的3D环境中导航。很明显，成功导航的关键因素在于全面的场景理解。以前的VLN代理使用单眼框架直接提取透视视图的2D特征。虽然很简单，但他们为捕获3D几何和语义而努力，导致部分不完整的环境代表。为了实现具有细粒细节的全面3D表示，我们引入了体积环境（VER），将物理世界脱氧于结构化的3D细胞中。对于每个单元格，通过2D-3D采样将多视图2D特征归纳到如此统一的3D空间中。通过对VER的粗略到纤维特征进行推断和多任务学习，我们的代理人可以共同预测3D占用率，3D房间布局和3D边界框。基于在线收集的vers，我们的代理构成了体积状态估计，并构建情节内存以预测下一步。实验结果表明，我们从多任务学习的环境表示导致了VLN的可观绩效提高。我们的模型在VLN基准（R2R，Reverie和R4R）之间实现了最新的性能。
用移动操作的交互式对象搜索语言的动态场景图
摘要 - 为了充分利用移动操纵机器人的功能，必须在大型未探索的环境中自主执行的长途任务。虽然大型语言模型（LLMS）已显示出关于任意任务的紧急推理技能，但现有的工作主要集中在探索的环境上，通常集中于孤立的导航或操纵任务。在这项工作中，我们提出了MOMA-LLM，这是一种新颖的方法，该方法将语言模型基于从开放式摄影场景图中得出的结构化表示形式，随着环境的探索而动态更新。我们将这些表示与以对象为中心的动作空间紧密地交织在一起。重要的是，我们证明了MOMA-LLM在大型现实室内环境中新型语义交互式搜索任务中的有效性。最终的方法是零拍摄，开放式摄影库，并且可以易于扩展到一系列移动操作和家用机器人任务。通过模拟和现实世界中的广泛实验，与传统的基线和最新方法相比，我们证明了搜索效率的显着提高。我们在http://moma-llm.cs.uni-freiburg.de上公开提供代码。
通过群集掩模的有效视力语言预训练
图像包含大量冗余信息，使其具有挑战性地在大规模上从它们中有效地了解它们。最近的工作通过在视觉语言构想学习期间掩盖图像贴片来解决这个问题[15,33,36,70]。一种简单的方法是随机放下大部分斑块，通过降低每个训练迭代中的计算成本和记忆使用量，从而更有效地培训训练[36]。替代策略是掩盖语义相关的贴片[15，33，70]，例如属于同一对象的贴片。这迫使学习的模型预测从上下文中描述缺少场景结构的单词，从而改善了学识渊博的表示。但是，这种方法需要一种单独的机制来将语义重新贴定的补丁分组在一起，这为学习过程增加了相当大的复杂性，并且计算上很昂贵。我们提出了一种简单的掩盖策略，用于避免这些缺点的多模式对比学习。在训练期间，我们掩盖了斑块的随机簇（图1）。对于此聚类，我们将Patches的原始RGB值用作特征表示。我们的方法利用了一个事实，即视觉相似性的简单度量通常可以限制相干的视觉结构，例如对象部分[18，53]，
精确：基于事件的行动识别和更多
事件摄像机最近显示出对实用视觉任务的有益，例如行动识别，这要归功于其高度分辨率，功率效率和引起的隐私问题。然而，当前的研究是由1）处理事件的困难，因为它们的持续时间长时间和动态动作具有复杂而模棱两可的语义； 2）事件框架表示带有固定堆栈的冗余作用。我们发现语言自然传达了丰富的语义信息，从而使其在降低疾病的不确定性方面非常出色。鉴于此，我们提出了一种新颖的方法，这是第一次解决基于事件的动作识别的跨模式概念化的识别。我们的确切确切带来了两项技术贡献。首先，我们提出了一个自适应细粒事件（AFE）表示，以自适应地过滤固定对象的重复事件，同时保留动态的对象。这巧妙地增强了精确的性能，而无需额外的计算成本。然后，我们提出了一个基于概念推理的不确定性估计模块，该模块模拟了识别过程以丰富语义代表。尤其是，概念推理基于动作语义建立时间关系，而不必要的估计可以解决基于分布表示的动作的语义不确定性。实验表明，在PAF，HADDV和我们的SEACT数据集上，我们的确切确切识别获得了94.83％（+2.23％），90.10％（+2.23％），90.10％（+37.47％）和67.24％。
rila：零的反思性和想象力的语言代理...
我们利用大型语言模型（LLM）进行零射击语义视听导航（SAVN）。现有的方法利用广泛的培训演示来巩固执行学习，但达到了相对较低的成功率和缺乏可普遍性。Auditary信号的间歇性质进一步构成了其他障碍，以减少目标信息。为了应对这一挑战，我们提出了Reflyception and I Maginative L Anguage A Gent（Rila）。通过采用多模式来处理SENSORY数据，我们指示基于LLM的规划师积极地展示环境。在探索过程中，我们的代理人对不准确的感知描述进行了适应性评估和驳回。此外，我们引入了辅助LLM的助手，以通过映射房间的布局并提供战略见解来增强全球环境综合。通过全面的实验和分析，我们表明我们的方法在没有环境和互补语义信息的培训演示的情况下优于相关的基线。
语言对生物多样性很重要 - 肯特学术存储库
Robert D. Fish（R.Fish@imperial.ac.uk）隶属于杜勒尔保护与生态研究所，位于肯特大学，英国坎特伯雷，英国坎特伯雷和英国伦敦帝国学院的环境政策中心，在英国伦敦，英国，英国伦敦。 Gail E. Austen，Jacob W. Bentley，Jessica C. Fisher，Phoebe R. Bentley和Zoe G. Davies（Z.G.Davies@kent.ac.uk）隶属于迪尔雷尔保护与生态研究所，位于肯特大学，位于肯特大学，位于肯特大学的英国坎特伯里大学，在英国，英国，英国国王。 马丁·达利默（Martin Dallimer）隶属于可持续发展研究所，地球与环境学院，利兹大学，英国利兹大学，英国，英国和环境政策中心，伦敦帝国学院，英国伦敦伦敦帝国学院。 Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会，经济和地理科学系。 Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所，英国坎特伯雷，英国坎特伯雷，挪威奥斯陆的挪威水研究所。Robert D. Fish（R.Fish@imperial.ac.uk）隶属于杜勒尔保护与生态研究所，位于肯特大学，英国坎特伯雷，英国坎特伯雷和英国伦敦帝国学院的环境政策中心，在英国伦敦，英国，英国伦敦。Gail E. Austen，Jacob W. Bentley，Jessica C. Fisher，Phoebe R. Bentley和Zoe G. Davies（Z.G.Davies@kent.ac.uk）隶属于迪尔雷尔保护与生态研究所，位于肯特大学，位于肯特大学，位于肯特大学的英国坎特伯里大学，在英国，英国，英国国王。马丁·达利默（Martin Dallimer）隶属于可持续发展研究所，地球与环境学院，利兹大学，英国利兹大学，英国，英国和环境政策中心，伦敦帝国学院，英国伦敦伦敦帝国学院。Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会，经济和地理科学系。Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所，英国坎特伯雷，英国坎特伯雷，挪威奥斯陆的挪威水研究所。
使用TF-IDF技术在阿拉伯社交媒体中进行进攻性语言检测
摘要。我们的生活现在围绕社会交流，并且由于阿拉伯文本非常复杂并且包含了许多方言，因此在阿拉伯社交媒体上很难识别出令人反感的语言。本文研究了机器学习模型的实施。使用了选择的分类器，包括决策树，支持向量机，随机森林和逻辑回归。在实验中使用了包含4505个推文的“ ARCYBC”数据集，以评估机器学习模型的性能。根据实验的结果，使用更多运行可以增强机器学习模型的性能，尤其是在精度和召回率方面。随着更多的运行，决策树（DT）和随机森林（RF）分类器显示出更好的回忆和精度，但是DT分类器显示出更好的精度。
使用交叉注意信号对大型语言模型进行微调模型的一种自我监督的强化学习方法
我们为不依赖于人类反馈的大型语言模型（LLMS）提出了一种新颖的增强学习（RL）框架。相反，我们的方法使用模型本身中的交叉注意信号来获得自我监督的奖励，从而指导对模型策略的迭代微调。通过分析模型在生成过程中如何“参加”输入提示，我们构建了及时的覆盖，重点和连贯性的度量。然后，我们使用这些措施来对候选响应进行排名或评分，提供了奖励信号，鼓励模型产生良好的一致，主题文本。在与标准策略梯度方法的经验比较和合成偏好模型的RL微调中，我们的方法在非RL基线的迅速相关性和一致性方面显示出显着的提高。虽然它尚未与完全监督的RLHF系统的性能相匹配，但它突出了使用最小的人类标记来扩展对齐的重要方向。我们提供了详细的分析，讨论潜在的局限性，并概述了将基于跨注意的信号与较少人类反馈相结合的未来工作。