ARMADA: Augmented Reality for Robot Manipulation and Robot-Free Data Acquisition
机器人模仿学习的远程操作受到硬件可用性的瓶颈。没有物理机器人，可以收集高质量的机器人数据吗？我们提出了一个通过实时虚拟机器人反馈增强 Apple Vision Pro 的系统。通过让用户直观地了解他们的动作如何转化为机器人动作，我们能够收集与物理机器人硬件的限制兼容的自然徒手人类数据。我们对 15 名参与者进行了一项用户研究，在 3 种不同的反馈条件下分别演示了 3 个不同的任务，并且……
搜索和推荐平台中使用的信息检索 (IR) 系统经常采用学习排序 (LTR) 模型来对响应用户查询的项目进行排序。这些模型严重依赖从用户交互中获得的特征，例如点击和参与度数据。这种依赖性为缺乏用户参与度的项目带来了冷启动问题，并带来了适应用户行为随时间变化的挑战。我们将这两个挑战作为在线学习问题全面解决，并提出了 BayesCNS，这是一种旨在处理冷启动和… 的贝叶斯方法
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
*平等贡献者大型语言模型 (LLM) 越来越多地被调整以实现任务特异性，以便在现实世界的决策系统中部署。之前的几项研究通过研究微调适应策略对模型公平性的影响，调查了偏见转移假设 (BTH)，发现在使用微调进行调整时，预训练的屏蔽语言模型中的公平性对模型公平性的影响有限。在这项工作中，我们将 BTH 的研究扩展到提示适应下的因果模型，因为提示是一种可访问且计算效率高的方式来部署……
Momentum Approximation in Asynchronous Private Federated Learning
这篇论文被接受在与 NeurIPS 2024 联合举办的联邦基础模型国际研讨会 (FL@FM-NeurIPS'24) 上发表。异步协议已被证明可以提高具有大量客户端的联邦学习 (FL) 的可扩展性。同时，基于动量的方法可以在同步 FL 中实现最佳模型质量。然而，在异步 FL 算法中天真地应用动量会导致收敛速度变慢和模型性能下降。目前还不清楚如何有效地将这两种技术结合在一起以实现双赢……
Apple Machine Learning Research at NeurIPS 2024
Apple 研究人员正在通过基础研究推动 ML 领域的发展，这些研究提高了世界对这项技术的理解，并有助于重新定义这项技术的可能性。这项工作可能会推动 Apple 产品和服务的进步，研究成果将通过出版物、开源资源以及参与行业和研究社区活动与更广泛的研究社区共享，其益处将超越 Apple 生态系统。下周，第 38 届神经信息处理系统 (NeurIPS) 年度会议将在加拿大温哥华举行……
Neural Information Processing Systems (NeurIPS) 2024
Apple 将在 12 月 10 日至 15 日在加拿大温哥华举行的神经信息处理系统 (NeurIPS) 年度会议上展示新研究成果。我们很荣幸再次赞助这个多轨跨学科会议，该会议将围绕机器学习聚集科学和工业研究社区。以下是 Apple 参加 NeurIPS 2024 的概述。
Private and Personalized Frequency Estimation in a Federated Setting
受用户设备上的下一个单词预测问题的启发，我们引入并研究了联合设置中的个性化频率直方图估计问题。在此问题中，在某些领域，每个用户都会从特定于该用户的分布中观察多个样本。目标是为所有用户计算用户分布的个性化估计，误差以 KL 散度来衡量。我们专注于解决两个核心挑战：统计异质性和用户隐私保护。我们解决问题的方法依赖于发现和利用类似的……
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
多模态大型语言模型 (MLLM) 的显著进步并未使它们免受挑战，特别是在处理提示中的欺骗性信息的情况下，因此在这种情况下会产生幻觉反应。为了定量评估这种脆弱性，我们提出了 MAD-Bench，这是一个精心策划的基准，包含 1000 个测试样本，分为 5 个类别，例如不存在的对象、对象计数和空间关系。我们对流行的 MLLM 进行了全面分析，从 GPT-4v、Reka、Gemini-Pro 到开源模型……
Strategic Linear Contextual Bandits
受战略代理操纵推荐系统以最大化向用户推荐的次数这一现象的启发，我们研究了线性上下文强盗问题的一个战略变体，其中手臂战略性地向学习者错误报告私下观察到的上下文。% 在战略背景操纵下。我们将算法设计问题视为不确定性下的 \emph{机制设计} 问题之一，并提出了乐观严峻触发机制 (OptGTM)，该机制可最大限度地减少遗憾，同时激励代理大致诚实。我们表明……
Towards Time-Series Reasoning with LLMs
多模态大型语言模型 (MLLM) 已在视觉等领域的理解和推理方面取得了许多进展，但我们尚未看到时间序列取得如此广泛的成功。尽管之前对时间序列 MLLM 的研究在时间序列预测中表现出色，但很少有研究展示 LLM 如何用于自然语言的时间序列推理。我们提出了一种新颖的多模态时间序列 LLM 方法，该方法可以学习跨各个领域的可推广信息，并具有强大的零样本性能。首先，我们在… 之上训练一个轻量级时间序列编码器
Learning Elastic Costs to Shape Monge Displacements
给定一个由 Rd\mathbb{R}^dRd 支持的源和目标概率测量，Monge 问题旨在以最有效的方式将一个分布映射到另一个分布。这种效率通过定义源数据和目标数据之间的成本函数来量化。在机器学习文献中，这种成本通常默认设置为平方欧几里得距离，ℓ22(x,y)=12∥x−y∥22\ell^2_2(x,y)=\tfrac12\|x-y\|_2^2ℓ22(x,y)=21∥x−y∥22。使用弹性成本的好处，通过正则化器 τ\tauτ 定义为 c(x,y)=ℓ22(x,y)+τ(x−y)c(x, y)=\ell^2_2(x,y)+\tau(x-y)c(x,y)=ℓ22(x,y)+τ(x−y)，
GENOT: Entropic (Gromov) Wasserstein Flow Matching with Applications to Single-Cell Genomics
单细胞基因组学极大地促进了我们对细胞行为的理解，促进了治疗和精准医疗的创新。然而，单细胞测序技术本质上具有破坏性，只能同时测量有限的数据模式。这一限制凸显了对能够重新排列细胞的新方法的需求。最佳传输 (OT) 已成为一种有效的解决方案，但传统的离散求解器受到可扩展性、隐私和样本外估计问题的阻碍。这些挑战刺激了神经网络的发展……
Leveraging Periodicity for Robustness with Multi-modal Mood Pattern Models
*平等贡献者来自可穿戴传感器的数据（例如心率、步数）可用于模拟情绪模式。我们使用多模态离散时间序列数据表征特征表示和建模策略，使用具有自然缺失的大型数据集（n=116,819 名参与者）进行情绪模式分类，使用 12 个可穿戴数据流，重点是捕捉数据的周期性趋势。综合考虑性能和鲁棒性，基于周期性的具有梯度提升模型的聚合特征表示优于其他表示和架构……
Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling
扩散模型已成为从文本描述生成高质量图像的强大工具。尽管这些模型取得了成功，但它们在采样图像中通常表现出有限的多样性，尤其是在使用高无分类器指导权重进行采样时。为了解决这个问题，我们提出了 Kaleido，这是一种通过结合自回归潜在先验来增强样本多样性的新方法。Kaleido 集成了一个自回归语言模型，该模型对原始标题进行编码并生成潜在变量，作为抽象和中间表示……
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
这篇论文被 EMNLP 2024 的第九届机器翻译会议 (WMT24) 接受。口语的韵律，包括重音、语调和节奏等特征，会显著影响底层语义，从而也会影响其文本翻译。尽管如此，韵律很少在语音到文本翻译 (S2TT) 系统的背景下进行研究。特别是，端到端 (E2E) 系统被认为非常适合韵律感知翻译，因为它们在做出翻译决策时可以直接访问语音信号，但……
Memory-Retaining Finetuning via Distillation
这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力进行持续的预训练，例如数学和编码，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识……
Instance-Optimal Private Density Estimation in the Wasserstein Distance
从样本中估计分布的密度是统计学中的一个基本问题。在许多实际情况下，Wasserstein 距离是密度估计的合适误差度量。例如，在估计某个地理区域的人口密度时，较小的 Wasserstein 距离意味着估计值能够大致捕捉到人口质量的位置。在这项工作中，我们研究了 Wasserstein 距离中的差分隐私密度估计。我们设计并分析了可以适应简单实例的该问题的实例优化算法。对于分布……
Multimodal Autoregressive Pre-Training of Large Vision Encoders
*平等贡献者大型多模态模型中的主导范式是将大型语言解码器与视觉编码器配对。虽然众所周知如何为多模态任务预训练和调整语言解码器，但不太清楚应该如何预训练视觉编码器。事实上的标准是使用判别目标（例如对比损失）预训练视觉编码器。这会导致预训练和生成自回归下游任务之间的不匹配。同时，继语言领域取得成功之后，自回归图像模型已被证明……
