Apple Workshop on Reasoning and Planning 2025
推理和规划是智能人工智能系统的基石，使它们能够规划、交互、适应并最终独立运行。在 Apple，理解和推进人工智能系统的推理能力长期以来一直是一个活跃的研究领域，并产生了大量出版物，这些出版物既探索推进推理前沿的新技术，又进一步加深了该领域对当前方法的能力（和局限性）的理解。去年，Apple 主办了推理和规划研讨会，汇集了 Apple 研究人员和……
Learning to Evict from Key-Value Cache
大型语言模型 (LLM) 规模的不断增长给高效推理带来了挑战，这主要是由于自回归键值 (KV) 缓存的内存需求。现有的逐出或压缩方法可以降低成本，但依赖于启发法，例如新近度或过去的注意力分数，它们只能作为代币未来效用的间接代理，并引入计算开销。我们将 KV 缓存驱逐重新定义为强化学习 (RL) 问题：学习根据令牌对未来解码的预测有用性对令牌进行排名。为此，我们引入了 KV 策略（KVP），这是一个......的框架
查询自动完成 (QAC) 是现代搜索系统的一项重要功能，它通过在用户键入时建议完成来提高搜索效率。然而，现有的方法面临着根本性的挑战：传统的检索和排序管道的长尾覆盖率很差，需要大量的特征工程，而最近的生成方法则存在幻觉和安全风险。我们提出了一个统一的框架，通过检索增强生成（RAG）和多目标直接偏好优化（DPO）将 QAC 重新表述为端到端列表生成。我们的方法......
Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents
开发与图形用户界面 (GUI) 有效交互的自主代理仍然是一个具有挑战性的开放问题，特别是对于小型设备上模型。在本文中，我们介绍了 Ferret-UI Lite，这是一种紧凑的端到端 GUI 代理，可以跨不同平台（包括移动、Web 和桌面）运行。利用为开发小型模型而优化的技术，我们通过从真实和合成来源中策划多样化的 GUI 数据混合物来构建我们的 3B Ferret-UI Lite 代理，通过思想链推理和可视化工具的使用来增强推理时性能，并且......
Models That Prove Their Own Correctness
我们如何才能相信学习模型对特定感兴趣输入的正确性？模型精度通常是根据输入分布的平均值来衡量的，不保证任何固定输入。本文针对这个问题提出了一个有理论基础的解决方案：训练自我证明模型，通过交互式证明向验证算法 V 证明其输出的正确性。自证明模型满足以下条件：对于从给定分布采样的输入，模型以高概率生成正确的输出并成功证明其对 V 的正确性。...
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
大型语言模型 (LLM) 现在位于搜索、辅助和代理工作流程的关键路径中，使得语义缓存对于降低推理成本和延迟至关重要。生产部署通常使用分层的静态-动态设计：从日志中挖掘的经过策划、离线审查的响应的静态缓存，由在线填充的动态缓存提供支持。在实践中，这两层通常都由单个嵌入相似性阈值控制，这会导致一个艰难的权衡：保守的阈值会错过安全重用的机会，而激进的阈值则可能会导致语义上不正确的服务......
A Small-Scale System for Autoregressive Program Synthesis Enabling Controlled Experimentation
使用经过训练来完成真实程序的小型模型可以进行哪些研究？通常，研究人员通过大型语言模型（LLM）研究程序合成，这会带来一些问题，例如了解分布内或分布外的内容、了解微调效果、理解标记化的效果以及对进行实验的计算和存储提出更高的要求。我们提出了一个名为 Cadmus 的系统，其中包括一个整数虚拟机 (VM)、一个由不同任务的真实程序组成的数据集，以及一个经过 200 美元以下计算训练的自回归变压器模型……
Faster Rates For Federated Variational Inequalities
在本文中，我们研究了用于解决随机变分不等式（VI）的联合优化，这是近年来引起越来越多关注的问题。尽管取得了实质性进展，但现有的收敛速度与联合凸优化已知的最先进边界之间仍然存在显着差距。在这项工作中，我们通过建立一系列改进的收敛率来解决这一限制。首先，我们证明，对于一般的平滑和单调变分不等式，经典的 Local Extra SGD 算法在精细分析下可以提供更严格的保证……
Trace Length is a Simple Uncertainty Signal in Reasoning Models
法学硕士的不确定性量化是解决幻觉和其他限制其可靠部署的问题的关键研究方向。在这项工作中，我们证明推理轨迹长度是大型推理模型中简单且有用的置信度估计器。通过跨多个模型、数据集和提示的综合实验，我们表明迹线长度的表现与其他零样本置信度估计器（例如言语置信度）具有可比较但互补的方式。我们的工作表明，训练后推理从根本上改变了踪迹之间的关系……
Mapping the Design Space of User Experience for Computer Use Agents
基于大型语言模型 (LLM) 的计算机使用代理通过与可用的 UI 元素交互来执行用户命令，但对于用户希望如何与这些代理交互或哪些设计因素对其用户体验 (UX) 至关重要，人们知之甚少。我们进行了一项两阶段的研究来绘制计算机使用代理的用户体验设计空间。在第一阶段，我们审查了现有系统，以制定用户体验考虑因素的分类法，然后通过采访八位用户体验和人工智能从业者来完善它。由此产生的分类法包括用户提示、可解释性、用户控制和用户……等类别。
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
基于 Transformer 的大型语言模型 (LLM) 的高效大规模推理仍然是一个基本的系统挑战，经常需要多 GPU 并行性来满足严格的延迟和吞吐量目标。传统的张量并行性会分解跨设备的矩阵运算，但会引入大量的 GPU 间同步，从而导致通信瓶颈和可扩展性下降。我们提出了并行轨道（PT）变压器，这是一种新颖的架构范例，可以重组计算以最小化跨设备依赖性。 PT 实现了高达 16 倍的减少……
VSSFlow: Unifying Video-conditioned Sound and Speech Generation via Joint Learning
视频条件声音和语音生成，包括视频转声音 (V2S) 和视觉文本转语音 (VisualTTS) 任务，通常被视为单独的任务，将它们统一到单一框架内的探索有限。最近统一 V2S 和 VisualTTS 的尝试在处理不同的条件类型（例如异构视频和转录条件）方面面临挑战，并且需要复杂的训练阶段。统一这两项任务仍然是一个悬而未决的问题。为了弥补这一差距，我们推出了 VSSFlow，它将 V2S 和 VisualTTS 任务无缝集成到一个统一的……
How PARTs Assemble into Wholes: Learning the Relative Composition of Images
对象及其部分的组成，以及对象与对象的位置关系，为表示学习提供了丰富的信息源。因此，空间感知借口任务在自监督学习中得到了积极探索。现有的工作通常从网格结构开始，其中借口任务的目标涉及预测固定网格内补丁的绝对位置索引。然而，基于网格的方法无法捕捉现实世界对象组合的流动性和连续性。我们介绍 PART，一种自我监督学习方法......
Self-Supervised Learning with Gaussian Processes
自监督学习 (SSL) 是一种机器学习范例，其中模型学习理解数据的底层结构，而无需来自标记样本的显式监督。从 SSL 获取的表示已被证明可用于许多下游任务，包括聚类和线性分类等。为了确保表示空间的平滑性，大多数 SSL 方法依赖于生成与给定实例相似的观察对的能力。然而，对于许多类型的数据来说，生成这些对可能具有挑战性。而且，这些方法缺乏考虑……
Principled Coarse-Grained Acceptance for Speculative Decoding in Speech
推测性解码通过让快速草稿模型提出由更大的目标模型验证的标记来加速自回归语音生成。然而，对于生成声学标记的语音法学硕士来说，精确的标记匹配过于严格：许多离散标记在声学或语义上是可互换的，从而降低了接受率并限制了加速。我们引入了原则性粗粒度（PCG），它在从目标模型的嵌入空间派生的声学相似性组（ASG）级别验证建议。通过将每个标记的概率质量分布在...
Learning to Reason as Action Abstractions with Scalable Mid-Training RL
大型语言模型在强化学习 (RL) 方面表现出色，但完全释放这种潜力需要中期训练阶段。有效的中期训练阶段应该确定一组紧凑的有用动作，并通过在线强化学习在其中进行快速选择。我们通过提出关于训练中期如何塑造训练后的第一个理论结果来形式化这种直觉：它描述了一个动作子空间，该子空间可以最小化剪枝的值近似误差和后续规划期间的 RL 误差。我们的分析揭示了训练中期效果的两个关键决定因素：...
SelfReflect: Can LLMs Communicate Their Internal Answer Distribution?
传达大型语言模型 (LLM) 不确定性的常见方法是在其响应中添加百分比数字或保护语。但这就是我们能做的一切吗？对用户完全透明的法学硕士需要能够反映其内部信念分布并输出其认为可能的所有选项及其可能性的摘要，而不是生成单个答案然后对其进行对冲。为了测试法学硕士是否具备这种能力，我们开发了 SelfReflect 指标，即给定摘要与答案分布之间的信息论距离。在...
DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation
扩散大语言模型 (dLLM) 是自回归 (AR) 模型的引人注目的替代品，因为它们的去噪模型在整个序列上运行。 dLLM 的全局规划和迭代细化功能对于代码生成特别有用。然而，目前 dLLM 在编码方面的训练和推理机制仍有待探索。为了揭开 dLLM 解码行为的神秘面纱并释放其编码潜力，我们系统地研究了它们的去噪过程和强化学习 (RL) 方法。我们在 130B 上训练 7B dLLM，\textbf{DiffuCoder}...
