XiaoMi-AI文件搜索系统
World File Search SystemLan
朝着更好的视力启发的视觉语言模型
视觉语言（VL）模型最近取得了未经证实的成功，其中连接模块是弥合模式差距的关键。尽管如此，在大多数存在方法中，富裕的视觉线索尚未充分利用。在视觉侧，大多数现有方法仅使用视觉塔的最后一个功能，而无需使用低级功能。在语言方面，大多数现有的方法仅引入浅视力互动。在本文中，我们提出了一个视觉启发的视觉语言连接模块，称为VIVL，该模块有效利用了VL模型的视觉提示。为了利用视觉塔中的较低级别信息，引入了特征金字塔提取器（FPE），以结合不同中间层的特征，该特征将视觉提示与可忽略不计的参数和计算在头顶上。为了实现VL相互作用，我们提出了深视觉条件的提示（DVCP），可以有效地进行视觉和语言特征的深层互动。我们的VIVL超过了以前的最新方法，当时是18.1苹果酒在从头开始训练可可字幕任务，这极大地提高了数据效率。当用作插件模块时，VIVL始终提高各种骨干和VL框架的性能，在多个基准测试中提供新的最新结果，例如Nocaps和VQAV2。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
如何准备好生成的预训练的大语言模型来解释孟加拉语语法错误？
抽象的语法校正校正（GEC）工具，由先进的生成人工智能（AI）提供动力，在用户输入中有效地纠正了语言的不准确性。但是，它们通常在提供基本的自然语言解释方面缺乏，这些解释是学习语言并获得对语法规则的更深入的理解。在低资源语言（例如孟加拉语）中对这些工具的探索有限。在这样的语言中，革命错误说明（GEE）系统不仅应正确句子，而且还应提供错误的解释。这种综合方法可以帮助语言学习者寻求提高能力。我们的工作介绍了一个现实世界中的多域数据集，该数据集来自孟加拉语扬声器，具有不同的义务水平和语言复杂性。此数据集可作为GEE系统的评估基准标记，允许他们使用上下文信息来生成有意义的解释和高质量的更正。Various generative pre-trained large language models (LLMs), in- cluding GPT-4 Turbo, GPT-3.5 Turbo, Text-davinci-003, Text-babbage- 001, Text-curie-001, Text-ada-001, Llama-2-7b, Llama-2-13b, and Llama-2-70b, are assessed against human experts for performance comparison.我们的研究强调了自动部署孟加拉人GEE的当前最新生成预培训的LLM的局限性。主张进行人干预，我们的发现提议合并手动检查以解决语法错误并提高反馈质量。这种方法提出了一种更合适的策略，以重新确定孟加拉语的GEC工具，并阐明了语言学习的教育方面。
VLP：自主驾驶的视觉语言计划
自主驾驶是一项复杂而具有挑战性的任务，旨在通过场景和推理来实现安全的运动计划。最近，通过增强的场景理解，几个关键问题，包括缺乏推理，低概括性能和长尾场景，但仍需要戴着几个关键问题，但仍需要进行一些关键问题。在本文中，我们提出了VLP，这是一个新颖的视力 - 语言规划框架，利用语言模式来弥合语言理解与自动驾驶之间的差距。VLP通过加强源内存基础和自动驾驶汽车的上下文理解来增强自主驾驶系统。vlp通过与先前的最佳方法相比，分别在平均L2错误和碰撞率方面，分别在平均L2错误和碰撞率方面实现了35.9％和60.5％的端到端规划表演。此外，在面对新的城市环境时，VLP在挑战性的长尾方案和强大的概括能力方面表现出改善的性能。
Project Plateau是一项由土地，基础设施，运输和旅游部（MLIT）（MLIT）领导的城市数字双胞胎的开放数据计划。
开发用用例，利用高级技术在灾难管理，环境，城市规划，流动性等各种领域等。通过创建和水平部署最佳实践，促进在公共和私营部门各个领域中用例的社会实施。
![SDM 112598]公共土地订单第7956号；提取](/simg/5/59ea71d2487d0acaf8c1cd2133e390f5fec61553.webp)
SDM 112598]公共土地订单第7956号；提取
该文档计划于12/27/2024发表在联邦公报上，并在https://federalregister.gov/d/2024-30790上在线获取，并在https://govinfo.gov
歌剧：通过过度信托的惩罚和转录分配
幻觉是对多模态大语言模型（MLLM）的普遍挑战的幻觉，极大地阻碍了他们需要精确判断的真实用法。现有方法可以通过特定设计的数据进行培训，或通过其他来源的特定知识来缓解此问题，从而产生了不可避免的额外费用。在本文中，我们提出了一种新型的MLLM解码方法，该方法基于o-vertust pe nalty和r eTroptoction-llocation策略，它是一种几乎免费的午餐，可以减轻幻觉问题，并没有其他数据，知识，知识或培训。我们的方法始于一个有趣的观察结果，即，大多数幻觉与自我注意力矩阵所表现出的知识聚集作用紧密相关，即MLLM倾向于通过关注一些摘要的代价来产生新的代币，但并非所有以前的代币。这种部分过度信任的倾向会导致忽略图像令牌，并用幻觉描述图像内容。基于观察结果，Opera在梁搜索解码过程中引入了对模型逻辑的惩罚术语，以使Miti-Gate the Trust问题以及回滚策略回顾了在预先生成的令牌中存在摘要令牌的存在，并在必要必要时重新分配给标记。通过广泛的实验，Opera在不同的MLLM和指标上表现出明显的幻觉降低性能，证明其有效性和性质。我们的代码为：https：//github.com/shikiw/opera。
知道您的邻居：通过空间视觉语言推理改善单视的重建
从单个视图中恢复3D场景几何形状是计算机视觉中的基本问题。虽然经典的深度估计方法仅推断出2.5D场景表示为图像平面，但最新的基于辐射范围的aperach是重建完整的3D代表。然而，这些方法仍然在被占地的区域困难，因为没有视觉观察的几何形状需要（i）周围的语义知识，以及（ii）关于空间上下文的推理。我们提出了Kyn，这是一种单视场景重建的新方法，其原因是语义和空间上下文来预测每个点的密度。我们引入了一个视觉模块模块，以使用细粒度的语义信息丰富点特征。我们通过语言引导的空间注意机制在整个场景中汇总了点表示，以产生意识到3D语义环境的每点密度预测。我们表明，与预测每个3D点的密度相比，Kyn改善了3D形状的恢复。我们在Kitti-360上实现了最新的场景和对象重建结果，并且与先前的工作相比，零弹性概括的改进。项目页面：https：//ruili3.github.io/kyn。