最近的大型语言模型（LLMS）的进步引发了人们对工具协助LLMS解决现实世界挑战的越来越多的研究兴趣，该挑战要求对工具使用功能进行全面评估。虽然先前的作品重点是根据单个转弯用户提示进行评估对无状态的Web服务（RESTFUL API），或者是基于单个转弯的对话框轨迹，但ToolsAndbox包括已实行的工具执行，工具之间的隐式状态依赖关系，工具之间的内置用户模拟器，支持机上的对话评估和用于Intermediped和entermediped和最终的动态评估策略的内置用户模拟器
Fundamental Challenges in Evaluating Text2SQL Solutions and Detecting Their Limitations
在这项工作中，我们深入研究了评估文本2SQL解决方案并突出潜在的故障原因以及依靠现有基准中总指标的潜在风险的基本挑战。我们确定当前开放基准中的两个很大程度上未解决的局限性：（1）评估数据中的数据质量问题主要归因于缺乏将自然语言描述转化为结构化查询的概率性质（例如，NL模糊性），以及（2）使用不同匹配的偏见，可以
UniVG: A Generalist Diffusion Model for Unified Image Generation and Editing
文本对图像（T2I）扩散模型在以用户提示后生成视觉吸引人的图像时显示出令人印象深刻的结果。在此基础上，各种方法进一步调整了针对特定任务的预训练的T2I模型。但是，这需要单独的模型体系结构，培训设计和多个参数集来处理不同的任务。在本文中，我们介绍了Univg，这是一个通才扩散模型，该模型能够支持具有一组权重的各种图像生成任务。 Univg将多模式输入视为统一条件，以使各种下游……
Exploring Prediction Targets in Masked Pre-Training for Speech Foundation Models
语音基础模型，例如Hubert及其变体，在大量未标记的语音数据上进行了预训练，然后用于一系列下游任务。这些模型使用蒙版的预测目标，该模型学会了从未掩盖的上下文中预测有关掩盖输入段的信息。在此框架中的预测目标的选择会影响其在下游任务上的性能。例如，通过捕获韵律的目标进行预训练的模型学习适合与说话者相关的任务的表示形式，而那些预先训练的目标是捕获语音学的目标……
Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis
在本文中，我们提出了一项新任务 - 从人及其成绩单（VTT）视频中产生语音 - 以激发多模式语音生成的新技术。这项任务概括了从裁剪唇部视频中生成语音的任务，并且比从视频和文字中生成通用音频剪辑（例如，狗吠叫）的任务还要复杂。任务的多语言版本可能会导致跨语性配音的新技术。我们还为此任务提供了一个仅解码器的多模式模型，我们称之为Visatronic。该模型直接嵌入视觉，文字和语音……
An Efficient and Streaming Audio Visual Active Speaker Detection System
本文深入研究了主动扬声器检测（ASD）的具有挑战性的任务，在该任务中，系统需要实时确定一个人是否在一系列视频框架中说话。尽管以前的作品在改善网络体系结构和学习有效表示ASD方面取得了长足的进步，但在探索实时系统部署方面存在着一个关键的差距。现有的模型通常会遭受高潜伏期和内存使用量的损失，使它们在直接应用中不切实际。为了弥合这一差距，我们提出了两个解决关键挑战的情况……
When Does a Predictor Know Its Own Loss?
给出了一个预测因子和损失函数，我们可以如何预测预测因子在输入上产生的损失？这是损失预测的问题，这是一个与预测变量的不确定性估计相关的关键计算任务。在分类环境中，预测变量通常会预测标签上的分布，因此对预测分布的熵给出了其将造成的损失的估计。我们应该相信这个估计吗？换句话说，预测变量什么时候知道它知道的以及它不知道的知识？在这项工作中，我们研究理论……
Towards AI-Driven Sign Language Generation with Non-Manual Markers
标志语言对于聋哑和听力障碍（DHH）社区至关重要。手语的生成系统有可能通过将英语等书面语言转换为签名视频来支持交流。但是，由于语法结构的不良翻译，缺乏面部提示和肢体语言以及视觉和运动保真度不足，当前系统通常无法满足用户需求。我们通过基于LLM和视频生成模型的最新进展来解决这些挑战，以将英语句子转化为自然的AI ASL签名者。文字…
DR-MPC: Deep Residual Model Predictive Control for Real-World Social Navigation
机器人如何安全地在表现出复杂运动模式的人们周围驾驶？模拟中的强化学习（RL）或深RL（DRL）具有一些希望，尽管许多先前的工作取决于模拟器无法精确地捕获真实人类运动的细微差别。为了解决这一差距，我们提出了深层剩余模型预测控制（DR-MPC），这是一种使机器人能够快速安全地从现实世界人群导航数据中执行DRL的方法。通过将MPC与无模型DRL融合，DR-MPC克服了大数据要求和不安全初始行为的传统DRL挑战。 DR-MPC…
SELMA: A Speech-Enabled Language Model for Virtual Assistant Interactions
在这项工作中，我们介绍和评估Selma，这是一个针对虚拟助手交互的语言语言模型，将音频和文本集成为大型语言模型（LLM）的输入。 Selma旨在处理与单个端到端模型中同时与虚拟助手相互作用相关的三个主要和两个辅助任务。我们采用低级适应模块来对音频编码器和LLM进行参数效率训练。此外，我们实施了一个功能汇总策略，使系统能够识别全球模式并提高任务的准确性……
Does Spatial Cognition Emerge in Frontier Models?
还没有。我们提出空间，这是一个系统地评估边境模型中空间认知的基准。我们的基准基于认知科学的数十年研究。它评估了当生物体穿越物理环境，对物体形状和布局的较小规模的推理以及认知基础架构（如空间注意力和记忆）时，它会带来的大规模映射能力。对于许多任务，我们通过文本和图像实例化并行演示，使我们能够基准大型语言模型和大型多模式模型。结果表明…
Speaker-IPL: Unsupervised Learning of Speaker Characteristics with i-Vector Based Pseudo-Labels
使用当前迭代的改进模型为下一次迭代提供伪标记 - 已被证明是提高说话者表示质量的有力方法。 IPL在无监督的说话者识别中的最新应用是从非常复杂的自我监管方法（例如Dino）中提取的表示开始。但是，培训如此强大的自我监督模型并不是直接的（它们需要高参数调整，并且可能不会推广到室外数据），而且可能不是……
M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference
残差转换增强了大语言模型（LLMS）的代表性深度和表达能力。但是，在自动回归产生中应用所有代币的静态残差转换会导致推理效率和产生忠诚度之间的次优折衷。现有方法，包括早期退出，跳过解码和深入的混合物，通过根据令牌级的复杂性调节剩余转换来解决此问题。尽管如此，这些方法主要考虑由代币通过模型层所穿越的距离，忽略了…
Towards Automatic Assessment of Self-Supervised Speech Models Using Rank
这项研究使用嵌入式等级探讨了通过自我监督学习（SSL）训练的通用语音编码器的无监督评估度量。传统上，评估这些编码器的性能是资源密集的，需要从下游任务中标记的数据。受视觉域的启发，嵌入等级显示了评估图像编码器的希望，而无需对标记的下游数据进行调整，因此考虑到信号的时间性质，研究了其在语音域中的适用性。这些发现表明等级与下游相关……
MM1.5: Methods, Analysis & Insights from Multimodal LLM Fine-Tuning
我们提出了MM1.5，这是一个新的多模式大语言模型（MLLMS），旨在增强文本丰富的图像理解，视觉参考和接地以及多图像推理的能力。在MM1体系结构的基础上，MM1.5采用了以数据为中心的方法来模型培训，系统地探索了整个模型培训生命周期中各种数据混合物的影响。这包括用于连续预训练的高质量OCR数据和合成字幕，以及用于监督微调的优化视觉指导数据混合物。我们的型号范围为1B…
Novel View Synthesis with Pixel-Space Diffusion Models
从单个输入图像中综合新的视图是一项具有挑战性的任务。传统上，通过估计场景深度，扭曲和钻孔来完成此任务，并通过机器学习模型实现了管道的一部分。最近，在新型视图合成（NVS）中越来越多地使用了生成模型，通常包含整个端到端系统。在这项工作中，我们适应了现代扩散模型体系结构，用于像素空间中的端到端NV，从而大大优于先前的最新技术（SOTA）技术。我们探索了编码几何的不同方法…
dMel: Speech Tokenization Made Simple
大型语言模型通过利用自我监督的大量文本数据预处理来彻底改变了自然语言处理。受到这一成功的启发，研究人员研究了复杂的语音令牌化方法，以离散连续的语音信号，以便将语言建模技术应用于语音数据。但是，现有方法要么模型语义（内容）令牌，可能会丢失声学信息或模型声音令牌，从而冒着语义（内容）信息丢失的风险。拥有多种令牌类型也使体系结构复杂化，并且需要……
MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs
我们介绍了MIA Bench，这是一种新的基准测试，旨在评估多模式大型语言模型（MLLM），以严格遵守复杂的说明。我们的基准包括一组400个图像推出对，每个基准都旨在挑战模型对分层指令的遵守，以产生满足特定要求的模式的准确响应。各种各样的最先进的MLLM的评估结果显示出绩效的显着差异，突出了改善教学保真度的领域。此外，我们创建了额外的培训数据和…
