Apple机器学习研究领域信息情报检索

Apple的机器学习团队致力于进行机器学习和人工智能的最新研究。了解最新的进展。我们的机器学习研究团队合作交流,为每天改善数百万人生活的惊人体验作出贡献。

使用 LLM 进行后期多模态传感器融合以进行活动识别

Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition

本文在 NeurIPS 2025 的健康时间序列学习研讨会上被接受。传感器数据流为下游应用程序提供有关活动和背景的有价值的信息,尽管集成补充信息可能具有挑战性。我们表明,大型语言模型(LLM)可用于后期融合,以根据音频和运动时间序列数据进行活动分类。我们从 Ego4D 数据集中整理了一个数据子集,用于跨环境(例如家庭活动、运动)的各种活动识别。经评估的法学硕士取得了 12 级零和一次机会……

使用成对相对移位预训练学习 EEG 信号的相对组成

Learning the Relative Composition of EEG Signals Using Pairwise Relative Shift Pretraining

本文在 NeurIPS 2025 的大脑和身体基础模型研讨会上被接受。自监督学习 (SSL) 提供了一种很有前途的方法,可以从未标记的数据中学习脑电图 (EEG) 表示,从而减少睡眠分期和癫痫检测等临床应用对昂贵注释的需求。虽然当前的 EEG SSL 方法主要使用屏蔽重建策略,例如捕获局部时间模式的屏蔽自动编码器 (MAE),但位置预测预训练仍然未被充分探索,尽管它具有学习远程的潜力......

使用 MLX 和 M5 GPU 中的神经加速器探索法学硕士

Exploring LLMs with MLX and the Neural Accelerators in the M5 GPU

采用 Apple 芯片的 Mac 越来越受到那些有兴趣使用 Mac 来试验最新模型和技术的人工智能开发人员和研究人员的欢迎。借助 MLX,用户可以在 Mac 上高效地探索和运行 LLM。它允许研究人员在自己的硬件上试验新的推理或微调技术,或在私人环境中研究人工智能技术。 MLX 可与所有 Apple 芯片系统配合使用,并且在最新的 macOS beta 版本1中,它现在可以利用新款 14 英寸 MacBook Pro 中引入的新型 M5 芯片中的神经加速器。神经...

CAR-Flow:条件感知重新参数化调整源和目标以实现更好的流量匹配

CAR-Flow: Condition-Aware Reparameterization Aligns Source and Target for Better Flow Matching

条件生成建模旨在从包含数据条件对的样本中学习条件数据分布。为此,扩散和基于流动的方法已经取得了引人注目的结果。这些方法使用学习的(流)模型将忽略条件的初始标准高斯噪声传输到条件数据分布。因此,该模型需要学习质量传输和条件注射。为了缓解对模型的需求,我们提出了流量匹配的条件感知重新参数化(CAR-Flow)——一种轻量级的、学习性的转变,可以调节……

ExpertLens:激活控制功能具有高度可解释性

ExpertLens: Activation Steering Features Are Highly Interpretable

本文在 NeurIPS 2025 的统一神经模型表示研讨会 (UniReps) 上被接受。大语言模型 (LLM) 中的激活引导方法已成为执行有针对性的更新以增强生成语言的有效方法,而无需大量适应数据。我们询问激活引导方法发现的特征是否可以解释。我们使用激活控制研究中的“寻找专家”方法来识别负责特定概念(例如“猫”)的神经元,并表明 ExpertLens,即检查这些......

采用自我监督表示作为高效生成的潜在空间

Adapting Self-Supervised Representations as a Latent Space for Efficient Generation

我们引入了 Representation Tokenizer (RepTok),这是一种生成建模框架,它使用从自监督视觉转换器获得的单个连续潜在标记来表示图像。在预先训练的 SSL 编码器的基础上,我们仅微调语义标记嵌入,并将其与使用标准流匹配目标联合训练的生成解码器配对。这种适应通过低级的、与重建相关的细节丰富了令牌,从而实现了忠实的图像重建。为了保留原始 SSL 空间的有利几何形状,我们添加了余弦相似度损失......

通过自适应空间标记学习可变形身体交互

Learning Deformable Body Interactions With Adaptive Spatial Tokenization

本文已被 NeurIPS 2025 的 AI for Science Workshop 接受。模拟可变形体之间的相互作用在材料科学、机械设计和机器人等领域至关重要。虽然使用图神经网络 (GNN) 的基于学习的方法可以有效解决复杂的物理系统,但在对可变形身体交互进行建模时会遇到可扩展性问题。为了对对象之间的交互进行建模,必须动态创建成对的全局边缘,这对于大规模网格而言是计算密集型且不切实际的。为了克服这些挑战,借鉴......

嵌入图集:低摩擦、交互式嵌入可视化

Embedding Atlas: Low-Friction, Interactive Embedding Visualization

嵌入投影通常用于可视化大型数据集和模型。然而,人们在使用嵌入可视化工具时经常遇到“摩擦”:(1)采用障碍,例如繁琐的数据整理和加载、可扩展性限制、无法将结果集成到现有工作流程中,以及(2)可能的分析限制,无法与外部工具集成以额外显示元数据的协调视图。在本文中,我们介绍了 Embedding Atlas,这是一种可扩展的交互式可视化工具,旨在尽可能轻松地与大型嵌入进行交互......

LinEAS:具有分布损失的激活转向的端到端学习

LinEAS: End-to-end Learning of Activation Steering with a Distributional Loss

生成模型在日常生活中的使用越来越多,需要有效的机制来控制其生成,例如生成安全的内容或为用户提供探索风格变化的工具。理想情况下,这种机制应该需要少量的未配对数据(即没有明确的偏好),并且在训练和推理时都应该便宜,同时保持输出质量。最近的研究表明,这种机制可以通过专门干预模型激活来获得,目的是纠正使用提示时看到的激活之间的分布差异......

政策地图:指导 LLM 行为无限空间的工具

Policy Maps: Tools for Guiding the Unbounded Space of LLM Behaviors

人工智能政策为人工智能模型的可接受行为设定了界限,但这在大型语言模型 (LLM) 的背景下具有挑战性:如何确保覆盖广阔的行为空间?我们引入了政策地图,这是一种受物理地图制作实践启发的人工智能政策设计方法。政策地图不是以全面覆盖为目标,而是通过有意识的设计选择来帮助有效导航,了解哪些方面要捕获,哪些方面要抽象。借助政策投影仪(一种用于设计法学硕士政策地图的交互式工具),人工智能从业者可以调查模型的情况……

SEMORec:标准化高效多目标推荐框架

SEMORec: A Scalarized Efficient Multi-Objective Recommendation Framework

多利益相关者环境中的推荐系统通常需要同时针对多个目标进行优化,以满足供应商和消费者的需求。在这些环境中提供建议依赖于有效地结合目标来满足每个利益相关者的期望,通常通过具有预先确定和固定权重的量化函数。在实践中,选择这些权重成为一个随之而来的问题。最近的工作开发了算法,通过使用强化学习来训练模型,根据特定应用的需求来调整这些权重。虽然这解决了自动...

自然语言处理 (EMNLP) 2025 的经验方法

Empirical Methods in Natural Language Processing (EMNLP) 2025

Apple 将于 11 月 4 日至 9 日在中国苏州举行的年度自然语言处理经验方法 (EMNLP) 会议上展示新的研究成果。 EMNLP 专注于口语处理科学和技术的研究。

迈向机器口译:人类口译研究的教训

Toward Machine Interpreting: Lessons from Human Interpreting Studies

当前的语音翻译系统虽然取得了令人印象深刻的准确度,但其行为相当静态,并且无法像人类口译员那样适应现实世界的情况。为了提高其实际实用性并实现类似口译的体验,准确理解人类口译的本质至关重要。为此,我们从机器翻译领域的角度讨论人类口译文献,同时考虑操作和定性方面。我们确定了语音翻译系统发展的影响……

推理的剃刀:推理提高了准确性,但会损害安全和幻觉检测中关键操作点的回忆

Reasoning’s Razor: Reasoning Improves Accuracy but Can Hurt Recall at Critical Operating Points in Safety and Hallucination Detection

推理已成为大型语言模型 (LLM) 的核心范式,不断提高各种基准的准确性。然而,它是否适合精度敏感的任务仍不清楚。我们提出了第一个在严格的低误报率(FPR)制度下分类任务推理的系统研究。我们的分析涵盖两项任务——安全检测和幻觉检测——使用标准法学硕士和大型推理模型(LRM)在微调和零样本设置下进行评估。我们的结果揭示了一个明显的权衡:Think On(推理增强)生成改进......

强化学习通过自适应揭示基本原理进行推理

RL for Reasoning by Adaptively Revealing Rationales

我们提出,来自部分专家演示的强化学习(RL)不仅仅是一种训练启发式方法,而且是解决复杂序列生成任务的一个有前景的框架。监督微调(SFT)依赖于密集的真实标签,随着序列长度的增长,其成本也越来越高。另一方面,强化学习则面临着稀疏奖励和组合大输出空间的问题。我们通过引入自适应回溯(AdaBack)来解决这个问题,这是一种按样本课程学习算法,在训练期间仅显示目标输出的部分前缀。该...

通过心理支架合理化改进语言模型角色

Improving Language Model Personas via Rationalization with Psychological Scaffolds

使用用户描述或角色提示的语言模型用于预测用户的偏好和意见。然而,现有的构建角色的方法主要依赖于用户的人口统计属性和/或先前的判断,而不依赖于用户判断背后的任何潜在推理。我们引入了 PB&J(行为和判断心理学),这是一个框架,通过纳入用户可能做出某种判断的潜在理由来改进 LM 角色。我们的基本原理是由语言模型生成的,用于明确推理用户在……上的行为

通过多步提示和目标推理在实体链接中利用大型语言模型的力量

Leveraging Power of Large Language Model in Entity Linking via Multi-step Prompting and Targeted Reasoning

实体链接 (EL) 传统上依赖于大型注释数据集和广泛的模型微调。虽然最近的小样本方法通过提示来利用大型语言模型 (LLM) 来减少训练要求,但由于昂贵的基于 LLM 的推理,它们常常效率低下。 ARTER(自适应路由和目标实体推理)提出了一种结构化管道,通过策略性地结合候选生成、基于上下文的评分、自适应路由和选择性推理,无需深度微调即可实现高性能。 ARTER 计算一小组...

PrimeX:世界观、观点和解释的数据集

PrimeX: A Dataset of Worldview, Opinion, and Explanation

随着语言模型的采用不断进步,更好地向模型表示个人用户的需求也在不断增加。语言模型是否可以利用个人信念系统的某些方面来改善一致性?根据之前的研究,我们通过开发 PrimeX 在舆论预测领域研究这个问题,PrimeX 是一个来自 858 名美国居民的民意调查数据的数据集,还有两个额外的信仰信息来源:受访者对其为何持有特定观点的书面解释,以及用于评估受访者世界观的原始世界信仰调查。我们……