Aggregate-and-Adapt Natural Language Prompts for Downstream Generalization of CLIP
大型预训练视觉语言模型（如 CLIP）已显示出良好的泛化能力，但在专业领域（例如卫星图像）或细粒度分类（例如汽车模型）中可能会遇到困难，因为在预训练期间看不到视觉概念或视觉概念代表性不足。即时学习提供了一个参数高效的微调框架，即使在注释数据有限的情况下，也可以使 CLIP 适应下游任务。在本文中，我们通过从自然语言提示（人工或 LLM 生成）中提取文本知识来改进即时学习，以提供……
On Device Llama 3.1 with Core ML
许多应用程序开发人员都对在集成功能日益强大的大型语言模型 (LLM) 的设备体验上进行构建感兴趣。在 Apple 芯片上本地运行这些模型使开发人员能够利用用户设备的功能进行经济高效的推理，而无需向第三方服务器发送数据和从第三方服务器接收数据，这也有助于保护用户隐私。为了做到这一点，必须仔细优化模型以有效利用可用的系统资源，因为 LLM 通常对内存和处理能力都有很高的要求。这篇技术文章详细介绍了如何……
翻译包含实体名称的文本是一项艰巨的任务，因为文化相关的参考在不同语言之间可能存在很大差异。这些差异也可能是由创译引起的，创译是一种适应过程，它涉及的不仅仅是音译和逐字翻译。在本文中，我们从两个方面解决了跨文化翻译的问题：(i) 我们引入了 XC-Translate，这是第一个大规模、手动创建的机器翻译基准，专注于包含可能具有文化细微差别的实体名称的文本，(ii) 我们提出了 KG-MT，一种新颖的端到端……
大型语言模型 (LLM) 和对话助手的快速发展需要动态、可扩展和可配置的对话数据集来进行训练和评估。这些数据集必须适应不同的用户交互模式，包括文本和语音，每种模式都带来了独特的建模挑战。知识图谱 (KG) 具有结构化和不断发展的特性，为当前和精确的知识提供了理想的基础。尽管存在人工策划的基于知识图谱的对话数据集，但它们难以跟上快速变化的用户信息需求。我们提出……
Computational Bottlenecks of Training Small-Scale Large Language Models
这篇论文被 NeurIPS Workshop 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。虽然大型语言模型 (LLM) 主导着人工智能领域，但由于消费者对成本和效率的要求，小规模大型语言模型 (SLM) 正受到关注。然而，对 SLM 的训练行为和计算要求的研究有限。在本研究中，我们通过检查各种超参数和配置（包括 GPU 类型、批量大小等）的影响，探索了训练 SLM（最多 2B 个参数）的计算瓶颈…
许多医疗保健应用本质上是多模态的，涉及多种生理信号。随着这些信号的传感器变得越来越普遍，改进多模态医疗保健数据的机器学习方法至关重要。预训练基础模型是一条有希望的成功途径。然而，在医疗保健领域开发基础模型的方法仍处于早期探索阶段，鉴于生理信号的多样性，目前尚不清楚哪种预训练策略最有效。这部分是由于多模态健康数据面临的挑战：获取许多患者的数据是……
Divide-or-Conquer? Which Part Should You Distill Your LLM?
最近的方法表明，当鼓励大型语言模型 (LLM) 首先解决主任务的子任务时，它们可以更好地解决推理任务。在本文中，我们设计了一种类似的策略，将推理任务分解为问题分解阶段和问题解决阶段，并表明该策略能够胜过单阶段解决方案。此外，我们假设与问题解决相比，分解应该更容易提炼成较小的模型，因为后者需要大量的领域知识，而前者只需要……
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem
在 Apple，我们认为隐私是一项基本人权。我们保护用户隐私的工作遵循一系列隐私原则，其中一项原则是优先使用设备上的处理。通过在用户设备上本地执行计算，我们有助于最大限度地减少与 Apple 或其他实体共享的数据量。当然，用户可以请求由机器学习 (ML) 提供支持的设备体验，这些体验可以通过查找服务器上托管的全局知识来丰富。为了在提供这些体验的同时坚持我们对隐私的承诺，我们实施了…
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
将语言模型与人类偏好相一致的目标需要能够揭示这些偏好的数据。理想情况下，可以花费时间和金钱仔细收集和定制针对每个下游应用程序的定制偏好数据。然而，在实践中，少数几个公开可用的偏好数据集通常用于训练奖励模型，以从人类反馈 (RLHF) 进行强化学习。虽然新的偏好数据集正在以越来越高的频率被引入，但目前还没有对它们进行测量和比较的努力。在本文中，我们系统地研究了…
MUSCLE: A Model Update Strategy for Compatible LLM Evolution
大型语言模型 (LLM) 会定期更新以提高性能，通常是通过更改数据或架构来实现的。在更新过程中，开发人员通常优先考虑改进整体性能指标，而较少关注与早期模型版本的兼容性。从一个模型版本到下一个模型版本，实例级性能下降（实例回归）可能会干扰用户对特定语言模型功能的心理模型。用户每次更新都必须调整他们的心理模型，这可能会导致不满，尤其是当……
4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities
*平等贡献者当前的多模态和多任务基础模型（如 4M 或 UnifiedIO）显示出了良好的结果，但在实践中，它们接受不同输入和执行不同任务的开箱即用能力受到它们所训练的模态和任务数量（通常相当少）的限制。在本文中，我们通过在数十种高度多样化的模态上对其进行训练以及在大规模多模态数据集和文本语料库上进行联合训练，显著扩展了 4M 的功能。这包括对几种语义和几何模态、特征图的训练......
Scalable Private Search with Wally
本文介绍了 Wally，这是一个支持对大型数据库进行高效语义和关键字搜索查询的隐私搜索系统。当有足够多的客户端进行查询时，Wally 的性能明显优于以前的系统。在以前的隐私搜索系统中，对于每个客户端查询，服务器必须对每个数据库条目执行至少一次昂贵的加密操作。因此，性能会随着数据库中条目的数量而成比例下降。在 Wally 中，我们消除了这一限制。具体来说，对于每个查询，服务器都会执行加密……
CAMPHOR: Collaborative Agents for Multi-Input Planning and High-Order Reasoning On Device
虽然服务器端大型语言模型 (LLM) 在工具集成和复杂推理方面表现出色，但直接在设备上部署小型语言模型 (SLM) 带来了改善延迟和隐私的机会，但也带来了准确性和内存方面的独特挑战。我们推出了 CAMPHOR，这是一种创新的设备 SLM 多代理框架，旨在处理多个用户输入并在本地推理个人背景，确保隐私得到维护。 CAMPHOR 采用分层架构，其中高阶推理代理分解复杂任务并协调专家……
Progressive Entropic Optimal Transport Solvers
最优传输 (OT) 通过提供理论和计算工具来重新调整数据集，对机器学习产生了深远的影响。在这种情况下，给定 Rd\mathbb{R}^dRd 中大小为 nnn 和 mmm 的两个大点云，熵 OT (EOT) 求解器已成为解决 Kantorovich 问题并输出 n×mn\times mn×m 耦合矩阵或解决 Monge 问题并学习矢量值前推图的最可靠工具。尽管 EOT 耦合/映射的稳健性使其成为实际应用中的首选，但由于小问题，EOT 求解器仍然难以调整……
GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
大型语言模型 (LLM) 的最新进展引发了人们对其形式推理能力的兴趣，尤其是在数学方面。GSM8K 基准被广泛用于评估模型在小学水平问题上的数学推理能力。虽然近年来 LLM 在 GSM8K 上的表现显着提高，但它们的数学推理能力是否真正进步仍不清楚，这引发了人们对所报告指标可靠性的质疑。为了解决这些问题，我们对几个 SOTA 开放和封闭模型进行了大规模研究。为了……
Depth Pro: Sharp Monocular Metric Depth in Less Than a Second
我们提出了零样本度量单目深度估计的基础模型。我们的模型 Depth Pro 合成了高分辨率深度图，具有无与伦比的清晰度和高频细节。预测是度量的，具有绝对尺度，而不依赖于元数据（例如相机内在函数）的可用性。而且该模型速度很快，在标准 GPU 上 0.3 秒内即可生成 225 万像素的深度图。这些特性是由许多技术贡献实现的，包括用于密集预测的高效多尺度视觉变换器、结合了……的训练协议
Contrastive Localized Language-Image Pre-Training
对比语言-图像预训练 (CLIP) 是一种广受赞誉的方法，用于训练视觉编码器生成图像/文本表示，以促进各种应用。最近，CLIP 已被广泛用作多模态大型语言模型 (MLLM) 的视觉主干，以连接图像输入以进行语言交互。CLIP 作为视觉语言基础模型的成功依赖于在图像级别对齐网络爬取的嘈杂文本注释。然而，这样的标准可能不足以满足需要细粒度视觉表示的下游任务，尤其是……
When is Multicalibration Post-Processing Necessary?
校准是预测因子的一个经过充分研究的属性，可保证有意义的不确定性估计。多重校准是一个相关概念——源于算法公平性——它要求在可能复杂且重叠的受保护亚群集合（例如按种族、种族或收入定义的群体）上同时校准预测因子。我们进行了首次全面研究，评估了从简单决策树到 90 的模型在广泛的表格、图像和语言数据集上的多重校准后处理的实用性……
