XiaoMi-AI文件搜索系统
World File Search System语言
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
用移动操作的交互式对象搜索语言的动态场景图
摘要 - 为了充分利用移动操纵机器人的功能，必须在大型未探索的环境中自主执行的长途任务。虽然大型语言模型（LLMS）已显示出关于任意任务的紧急推理技能，但现有的工作主要集中在探索的环境上，通常集中于孤立的导航或操纵任务。在这项工作中，我们提出了MOMA-LLM，这是一种新颖的方法，该方法将语言模型基于从开放式摄影场景图中得出的结构化表示形式，随着环境的探索而动态更新。我们将这些表示与以对象为中心的动作空间紧密地交织在一起。重要的是，我们证明了MOMA-LLM在大型现实室内环境中新型语义交互式搜索任务中的有效性。最终的方法是零拍摄，开放式摄影库，并且可以易于扩展到一系列移动操作和家用机器人任务。通过模拟和现实世界中的广泛实验，与传统的基线和最新方法相比，我们证明了搜索效率的显着提高。我们在http://moma-llm.cs.uni-freiburg.de上公开提供代码。
语言模型作为视觉的黑盒优化器...
在Web-scale数据集中预先训练的视觉语言模型（VLMS）在用最小数据调整时，在下游任务上表现出了显着的功能。但是，许多VLM依赖于专有数据，而不是开源数据，这限制了使用白色框的使用进行精细调整。因此，我们旨在开发一种黑匣子方法来通过自然语言提示来优化VLM，从而避免需要访问模型参数，功能嵌入甚至输出逻辑。我们采用基于聊天的LLMS来搜索VLM的最佳文本提示。特别是，我们采用了一种自动的“爬山”程序，该程序通过评估当前提示的性能并要求LLMS根据文本反馈来对其进行融合，从而将其融合到有效的提示中，所有这些程序都在没有人类的对话过程中进行了反馈。在具有挑战性的1-Shot图像分类设置中，我们的简单方法平均超过了白色框连续提示方法（COP）1。在包括Imagenet在内的11个数据集中有5％。我们的方法还优于人工工程和LLM生成的提示。我们高出了对话反馈的优势，该反馈既不是正面和负面提示，表明LLM可以在文本反馈中利用隐式“梯度”方向，以进行更有效的搜索。此外，我们发现通过我们的策略生成的文本提示不仅更容易解释，而且还以黑盒方式在不同的VLM架构上良好地转移。最后，我们在最先进的Black-Box VLM（DALL-E 3）上演示了我们的框架，以进行文本对图像优化。
大型语言模型策略适应到处驾驶
将驾驶行为适应新的环境，库斯和法律是自主驾驶中的一个长期问题，排除了澳大利亚车辆（AVS）的广泛部署。在本文中，我们提出了LLADA，这是一种简单而强大的工具，它使人类驾驶员和自动驾驶汽车都可以通过调整其任务和动作计划来在新的地方进行访问规则，从而在任何地方开车。llada通过利用大型语言模型（LLMS）在解释本地驾驶员手册中的流量规则方面的令人印象深刻的零弹性可推广性来实现这一目标。通过广泛的用户研究，我们表明LLADA的说明可用于消除野外野外未受的情况。我们还展示了LLADA在现实世界数据集中适应AV运动计划策略的能力； Llada优于我们所有指标的基线计划。请查看我们的网站以获取更多详细信息：Llada。
培训大语言模型
培训大语言模型（LLM）已成为人工智能进展的核心，数据集，培训前和训练后方法在其性能和可扩展性方面扮演着互补的角色。此博士学位课程探讨了训练这些模型的关键阶段，并强调了数据对下游任务中模型性能的影响。学生将通过全面研究数据集构建，优化技术，缩放定律，培训前策略，合成数据生成以及培训后的改进（例如，进行微调和对齐方式），通过全面的研究构建LLM的理论和实践。该课程将结合理论指导与动手实验相结合。学生将洞悉：＃＃创建高质量，多样化和有效数据集的原则和方法。＃＃¢优化策略，用于大规模模型培训，包括计算效率。＃＃经验缩放定律及其对模型大小和数据集大小的影响。＃¢利用合成数据及其在改善概括和鲁棒性中的作用。＃＃训练技术，例如人类反馈（RLHF）的增强学习以及与期望的结果结合。
开发基于精细语言模型的瑞典法律判断的语义搜索工具
大型语言模型（LLMS）是非常大的深度学习模型，可根据大量数据进行重新训练。是句子的双向编码器表示，来自变形金刚（SBERT）的句子是基于变压器的DeNoising AutoCoder（TSDAE），生成查询网络（GENQ）和生成假伪标记（GPL）的改编。本论文项目旨在为瑞典法律判断开发语义搜索工具，以克服法律文件检索中传统关键字搜索的局限性。为此，使用高级培训方法（例如TSDAE，GENQ和GPL的改编），通过利用自然语言处理（NLP）（NLP）（NLP）（NLP）和精细的LLM来开发一种善于理解法律语言的语义细微差别的模型。要从未标记的数据中生成标记的数据，对其进行微调后使用了GPT3.5模型。使用生成模型的使用标记数据的生成对于该项目有效训练Sbert至关重要。已经评估了搜索工具。评估表明，搜索工具可以根据语义查询准确检索相关文档，并同样提高法律研究的效率和准确性。genq已被证明是此用例的最有效的训练方法。
Silq 发布：一种高级量子语言
联系方式：马丁·韦切夫教授，苏黎世联邦理工学院，瑞士，silq@inf.ethz.ch 背景：最近的努力已经将量子计算机改进到可以在某些任务上超越传统计算机的程度，这种情况被称为量子霸权。量子计算机运行量子算法，通常用低级量子语言 Silq 表示。我们发布了 Silq，这是第一种旨在从量子算法的低级实现细节中抽象出来的高级量子语言。Silq 在 GitHub（https://github.com/eth-sri/silq）上公开可用，并根据免费开源 Boost 软件许可证 1.0 获得许可。作为一项关键的创新，Silq 有助于弥合经典语言和量子语言之间的概念差距。因此，Silq (i) 降低了非专业量子程序员的入门门槛，(ii) 通常有助于简洁明了地表达复杂算法，以及 (iii) 促进了 50 多年来为传统计算开发的编程和分析技术向量子编程领域的技术转移。比较。虽然传统上量子算法通常以电路的形式指定，但量子语言更方便地将量子算法表达为源代码。然而，现有的量子语言迫使程序员在较低的抽象层次上工作，仍然本质上指定将量子操作明确应用于单个量子位的量子电路。因此，用这些语言实现量子算法是繁琐且容易出错的。相比之下，Silq 支持对量子算法的描述性视图，表达了程序员的高级意图。然后，将这些算法编译成低级量子电路成为二阶关注点，可以由专门的编译器处理，就像在传统编程语言中一样。我们的实验评估表明，Silq 程序比其他量子语言中的等效程序短得多（Q# 平均缩短 46%，Quipper 缩短 38%），同时仅使用一半的量子原语。因此，Silq 程序不仅更短，而且更易于读写，因为它们需要的原语和概念更少。大部分评估都集中在 Q# 上，因为 (i) 它是使用最广泛的量子语言之一，(ii) 我们认为它比 Cirq 或 QisKit 更高级，(iii) 2018 年和 2019 年的 Q# 编码竞赛提供了大量 Q# 实现，我们可以利用它们进行比较。
调查机器学习和自然语言处理技术用于检测饮食失调：系统文献评论
自然语言处理（NLP）和机器学习（ML）领域的最新发展已显示自动文本处理的显着改进。同时，人类语言的表达在发现心理健康问题中起着核心作用。虽然口语在接受患者的访谈中被隐式评估，但书面语言也可以为临床专业人员提供有趣的见解。现有的工作中经常研究心理健康问题，例如抑郁或焦虑。然而，还在研究饮食失调的诊断如何从这些新技术中受益。在本文中，我们介绍了该领域最新研究的系统概述。Our investigation encompasses four key areas: (a) an analysis of the metadata from published papers, (b) an examination of the sizes and speci fi c topics of the datasets employed, (c) a review of the application of machine learning techniques in detecting eating disorders from text, and fi nally (d) an evaluation of the models used, focusing on their performance, limitations, and the potential risks associated with current methodologies.
解码脑电图活动以实现多模态自然语言处理
直到最近，研究人员主要对阅读中的人类行为数据感兴趣，以了解人类认知。然而，这些人类语言处理信号也可以用于基于机器学习的自然语言处理任务。目前，将脑电图大脑活动用于此目的的研究还很大程度上尚未得到探索。在本文中，我们首次进行了大规模研究，系统地分析了脑电图大脑活动数据在改进自然语言处理任务方面的潜力，特别关注了信号的哪些特征最有益。我们提出了一种多模态机器学习架构，它可以从文本输入和脑电图特征中联合学习。我们发现将脑电图信号过滤到频带中比使用宽带信号更有益。此外，对于一系列词嵌入类型，脑电图数据可以改进二元和三元情绪分类，并且优于多个基线。对于关系检测等更复杂的任务，在我们的实验中，只有情境化的 BERT 嵌入优于基线，这提出了进一步研究的需要。最后，当训练数据有限时，EEG 数据显示出特别有前景。
增强具有生成负面挖掘的视觉语言模型的多模式组成推理
当代的大规模视觉语言模型（VLM）具有强大的表示能力，使它们无处不在，可以增强图像和文本理解任务。他们经常以对比的方式受到大量图像和相应的文本字幕的对比方式进行训练。尽管如此，VLMS经常在构图推理任务上挣扎，这些任务对对象及其属性的复杂相互作用进行了精细的了解。此失败可以归因于两个主要因素：1）对比的方法传统上专注于从现有数据集中开采负面示例。但是，该模型可能不难区分阳性检查。替代采矿的替代方法是负样本2），但现有的生成方法主要集中于生成与给定图像相关的硬性负面文本。在另一个方向上进行挖掘，即生成与给定文本相关的负面图像样本已被忽略。为了克服这两种限制，我们提出了一个框架，不仅在两个方向上矿山，而且在这两种方式（即图像和文本）中产生了有挑战性的负面样本。利用这些生成硬性负样本，我们在涉及多模式综合推理的任务中显着提高了VLMS的性能。我们的代码和数据集在https://ugorsahin.github.io/enhancing-- vlm.html上发布。