XiaoMi-AI文件搜索系统
World File Search SystemLMMS
通过虚拟反事实校准在社会智能理解中缓解LMM的语言偏见
社会情报对于了解复杂的人类表达和社会影响至关重要。虽然大型的多模型模型（LMM）在社会智能问题答案中表现出了显着的表现（SIQA），但由于在预训练阶段中基于文本的数据的独立流行，它们仍然倾向于产生依靠语言先验的回答，并依靠相关上下文。要解释LMM的上述语言偏见，我们采用了一个结构的因果模型，并认为反事实推理可以通过避免LMMS内部常识知识与给定的结论之间的虚假相关性来减轻偏见。但是，构建多模式反事实样本是昂贵且具有挑战性的。为了应对上述挑战，我们提出了一个输出d Istribution c校准网络，该网络具有v irtual c-osunterfactual（dcvc）数据。DCVC设计了一个新颖的外部分配校准网络，以减轻负面语言偏见的影响，同时保留有益的先验。扰动被引入LMMS的输出分布，以模拟从上下文中的分布的分布转移，该分布被用来构建相反的aug augs数据。在多个数据集上进行的实验证明了我们提出的方法的有效性和可实现性。
ESC 人工智能驱动软件指南
• 投资或提供非营利或公共基础设施，包括计算能力和公共数据集，供公共、私人和非营利部门的开发人员使用，要求用户遵守道德原则和价值观以换取访问权限。 • 使用法律、政策和法规确保医疗保健和医学中使用的 LMM 和应用程序（无论与人工智能技术相关的风险或利益如何）符合影响个人尊严、自主权或隐私等的道德义务和人权标准。 • 在资源允许的情况下，指派现有或新的监管机构评估和批准用于医疗保健或医学的 LMM 和应用程序。 • 当 LMM 大规模部署时，由独立第三方引入强制性的发布后审计和影响评估，包括数据保护和人权评估。审计和影响评估应公布，并应包括按用户类型（例如按年龄、种族或残疾）分类的结果和影响。 • LMM 的开发人员应确保：
Mantis：交错的多图像指令调整
大型多模型模型（LMM）在单图像视觉语言任务中显示出了很好的结果。但是，他们解决多图像视觉语言任务的能力尚待改进。OpenFlamingo，EMU2和IDEFICS等现有的LMM通过对数亿个既没有有效又不有效的嘈杂的交织图像文本数据进行预训练，从而获得了多图像的能力。在本文中，我们旨在通过使用学术级别的资源进行指导调整来构建强大的多图像LMM。因此，我们精心构建包含721k多图像指导数据的螳螂教学，以培训螳螂模型家族。教学调整使螳螂具有不同的多图像技能，例如共同参考，比较，推理和时间理解。我们评估了8个多图像基准和6个单图像基准的螳螂。Mantis -IDEFICS2可以在所有多图像基准上实现SOTA结果，并击败最强的多图像基线，即IDEFICS2-8B平均13个绝对点。值得注意的是，IDEFICS2-8B已在140m的交织多图像数据上进行了预训练，该数据比Mantis-Instruct大200倍。我们观察到螳螂在持有的基准和持有的基准上表现出色，这表明其概括能力。我们进一步评估了单图像基准上的Mantis，并证明Mantis在与COGVLM和EMU2相当的情况下还保持了强劲的单像性能。我们的结果表明，多图像能力不一定是通过大规模的预训练获得的，而是通过低成本的指导调整可以获得它们。螳螂的培训和评估为未来的工作铺平了道路，以提高LMMS的多图像能力。
通用设计标准 - 洛克希德·马丁
第 1 部分 土木工程设计标准 1.1 一般规定 1.1.1 关联和协调 A.本节提供土木工程设计工作的标准。这些设计标准应与洛克希德·马丁导弹与空间 (LMMS) 设施工程标准 (FES)、施工规范、第 I 至 IV 卷以及本设施设计标准的其他相关部分相关联。在适用的情况下，应使用 FES 施工规范中划定的工程施工细节，以兼容 LMMS 现有设施设计。B.土木工程设计工作应按照现行建筑规范研究所 (CSI) 格式指定。C. 设计应与其他相关建筑和工程学科充分协调，以消除冲突和遗漏，并确保满足整个项目要求。与 LMMS 组织和人员合作设计解决方案时必须谨慎判断。D. 所有设计/施工图均应遵循 LMMS 绘图程序和标准，除非本设施设计标准的特定章节另有具体说明。有关所有绘图要求，请参阅第 11 节“绘图程序”。1.1.2 设计理念 设计应以确保花费的成本获得最大收益的方式进行。不得为了节省成本而牺牲安全性和可靠性。分析和设计方法应遵循专业工程实践的既定原则。在设计工作的开发过程中，鼓励进行价值工程。1.1.3 规范和标准 设计工作应符合所有适用的城市、县、州和联邦规范和标准的现行采用版本。此外，下列规范、标准和出版物的现行采用版本被视为本节的指导参考。还应考虑此处未列出的相关贸易和专业协会的适用建议。加州运输部 (CALTrans) 美国州公路和运输官员协会 (AASHTO) 美国混凝土协会 (ACI) 美国钢结构协会 (AISC) 美国钢铁协会 (AISI) 美国国家标准协会 (ANSI)
呼吁关于有关神经体系结构搜索和大型机器的计算智能特刊的新兴主题的论文交易
神经体系结构搜索（NAS）是一座跨性别的桥梁，连接了计算智能和机器学习社区。通过自动化设计神经网络的复杂过程，NAS优化了模型体系结构并增强了各种应用程序的性能。在过去十年中，这种融合导致了这两个领域的显着进步。传统上，NAS算法是根据不同的搜索方法分类的，例如增强学习，基于梯度的方法和进化计算。但是，机器学习的快速发展正在重塑NAS景观，引入了超越这些类别的新技术。在这些新兴技术中，大型机器学习模型（LMM）在该领域的重大进步。lmms是具有大量参数和复杂体系结构的复杂机器学习模型，使它们能够处理大型数据集并执行复杂的任务。这些模型通常是预训练的，并具有多种类型，包括用于文本处理的大型语言模型和用于处理多种数据类型（例如文本，图像，音频和视频）的大型多模式。文献中的最新研究表明，LMMS和NAS可以通过几种方式相互作用，为有希望的研究方向铺平了道路。一些极有前途的研究方向的一些重要例子，这些指示可能代表NAS的未来：
使用自定义生成 AI 激活您的数据
由大型语言模型 (LLM) 提供支持的生成式 AI 应用程序可以自动执行任务，理解和生成文本或语音中的自然语言，并快速分析大量数据以提供对查询的即时响应。借助生成式 AI 功能，企业正在转变客户服务、内容创建、软件开发和 IT 运营等业务功能。大型多模态模型 (LMM) 可以处理各种数据类型，包括文本、图像、视频、音频、图形等，从而为医疗保健、金融和能源等许多行业解锁新的用例。
MUEP：具有基础模型的体现计划的多模式基准
基金会模型表现出了显着的紧急能力，对构成体现的代理商的推理和计划能力持巨大希望。然而，缺乏用于评估复杂环境中具有多模式观测的体现药物的基准，仍然是一个显着的差距。在本文中，我们提出了MUEP，这是一种用于e mbodied p lanning的全面MU ltimodal基准。MUEP促进了在复杂场景中体现药物的多模式和多转弯相互作用的评估，并结合了精细粒度的评估指标，这些指标可为您在整个任务中提供有关体现剂的性能的见解。此外，我们在拟议的基准上评估了具有最新的基础模型，包括大型语言模型（LLMS）和大型多模型模型（LMMS）。实验结果表明，基于环境的文本代表的基础模型通常超过其视觉效果，这表明具有多模式观察的型号计划能力存在差距。我们还发现，控制语言的生成是不可或缺的能力，超出常识性知识，无法进行准确的体现任务完成。我们希望拟议的MUEP基准可以为体现AI的进步与基础模型的发展。
LLMS中的图像理解
项目描述。大型语言模型（LLMS）的令人印象深刻的成功引发了管理多种方式以外的多种方式的需求。结果，已经出现了大型多模型（LMM），例如GPT-4V，GEMINI，DEEPSEEK-VL和QWEN2-VL。这些模型可以理解涉及视觉和语言的说明并采取行动，即，它们使用户能够上传图像并与LLM讨论。原则上，多模式变压器（例如剪辑和碎片）旨在处理文本和图像输入。这些模型在关节空间中处理视觉和文本数据。这使他们可以理解文本并将其连接到视觉表示。一般框架如下：i）图像特征首先是通过视觉变压器（例如VIT）提取的，该vit将视觉数据转换为嵌入，ii）文本输入由语言模型处理，该模型将文本模型转换为自己的嵌入，然后iiii iii）通过共享的变压器结构或通过交叉说明机构将两个嵌入式处理在一起。但是，有一些架构细节将这些模型彼此区分。
3D空间多模式内存
我们提出了3D空间多模式内存（M3），这是一种多模式存储系统，旨在通过视频源保留有关中型静态场景的信息，以供视觉感知。通过将3D高斯脱衣技术与基础模型集成在一起，M3构建了能够跨粒度呈现特征表示的多模式内存，其中包括广泛的知识。在我们的探索中，我们在以前的特征劈叉上确定了两个关键挑战：（1）在每个高斯原始原始原始原始的存储高维纤维中的计算限制，以及（2）蒸馏功能和基础模型之间的未对准或信息损失。为了解决这些挑战，我们提出了M3的主要场景组件和高斯记忆注意的关键组成部分，从而实现了有效的训练和推理。为了验证M3，我们对特征相似性和下游任务以及定性可视化进行了全面的定量评估，以突出显示高斯记忆注意的像素痕迹。我们的方法包括各种基础模型，包括视觉模型（VLM），感知模型以及大型多模式和语言模型（LMMS/LLMS）。此外，为了演示现实世界的适用性，我们在四足机器人的室内场景中部署了M3的功能字段。值得注意的是，我们声称M3是在3D功能蒸馏中挑战核心压缩挑战的第一项工作。
学习扩散产生的视频检测的多模式伪造表示
来自扩散模型的大量合成视频对信息安全性和真实性构成威胁，从而导致对生成的内容检测的需求不断增长。但是，现有的视频级检测算法主要集中于检测面部伪造，并且通常无法识别具有各种语义范围的扩散生成的内容。为了推进视频取证领域，我们提出了一种创新算法，称为多模式检测（MM-DET），用于检测扩散生成的视频。mm-det利用了大型多模式模型（LMM）的深刻感知和全面能力，通过从LMM的多模式空间中产生多模式伪造表示（MMFR），从而增强了其检测到其不看见的伪造内容的能力。此外，MM-DET还利用了一个内在的框架注意（IAFA）机制来在时空结构域中进行特征增强。动态融合策略有助于改善融合的伪造代表。此外，我们在广泛的伪造视频中构建了一个称为扩散视频取证（DVF）的综合扩散视频数据集。mm-det在DVF中实现了最先进的性能，证明了我们的算法的有效性。源代码和DVF均可在链接中获得。