Pretraining with Hierarchical Memories: Separating Long-Tail and Common Knowledge
现代语言模型令人印象深刻的性能提升目前依赖于缩放参数：较大的模型可以存储更多的世界知识并更好地进行推理。然而，将所有世界知识压缩为参数是不必要的，因为每个提示只使用一小部分，并且对于推理时间内存和计算有限的边缘设备来说是不切实际的。我们通过内存增强架构和与现有硬件范例相一致的预训练策略来解决这个缺点。我们引入了小型语言模型，可以访问编码世界知识的大型分层参数存储库。期间...
Inferring Optical Tissue Properties from Photoplethysmography using Hybrid Amortized Inference
智能可穿戴设备能够通过光电体积描记法 (PPG) 持续跟踪已建立的生物标志物，例如心率、心率变异性和血氧饱和度。正如最近的深度学习 (DL) 研究表明，除了这些指标之外，PPG 波形还包含更丰富的生理信息。然而，深度学习模型通常依赖于生理意义不明确的特征，从而在预测能力、临床可解释性和传感器设计之间造成紧张。我们通过引入 PPGen 来解决这一差距，PPGen 是一种生物物理模型，它将 PPG 信号与可解释的生理和光学联系起来......
Improving User Interface Generation Models from Designer Feedback
尽管接受过大量数据的培训，大多数法学硕士仍无法可靠地生成设计良好的 UI。设计师的反馈对于提高 UI 生成的性能至关重要；然而，我们发现现有的基于评级或排名的 RLHF 方法与设计师的工作流程并不一致，并且忽略了用于批评和改进 UI 设计的丰富原理。在本文中，我们研究了设计师使用评论、草图和直接操作等熟悉的交互方式向 UI 生成模型提供反馈的几种方法。我们首先对 21 进行了一项研究...
NarrativeTrack: Evaluating Video Language Models Beyond the Frame
多模态大语言模型 (MLLM) 在视觉语言推理方面取得了令人瞩目的进展，但它们理解视频中暂时展开的叙述的能力仍未得到充分探索。真正的叙事理解需要以谁在做什么、何时何地为基础，在动态视觉和时间上下文中保持连贯的实体表示。我们引入了 NarrativeTrack，这是第一个通过细粒度的以实体为中心的推理来评估 MLLM 中叙事理解的基准。与仅限于短剪辑或粗略场景级语义的现有基准不同......
BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design
我们提出了一种通用方法，用于提高大型语言模型 (LLM) 使用顺序贝叶斯实验设计 (BED) 框架智能、自适应地从用户或其他外部源收集信息的能力。这使得法学硕士能够充当有效的多轮会话代理并与外部环境进行交互。我们的方法称为 BED-LLM（大型语言模型的贝叶斯实验设计），基于迭代选择问题或查询，最大化关于任务的预期信息增益 (EIG)
Efficient Calibration for Decision Making
完美校准的决策理论特征是，寻求最小化期望的适当损失的代理无法通过后处理完美校准的预测器来改善其结果。 Hu 和 Wu (FOCS’24) 使用它来定义称为校准决策损失 (CDL) 的近似校准测量，它测量任何后处理相对于任何适当损失可实现的最大改进。不幸的是，事实证明，由于对预测和标签的黑盒访问，CDL 在离线环境中甚至很难进行弱近似。我们建议绕过这个......
The Communication Complexity of Distributed Estimation
我们研究标准两方通信模型的扩展，其中 Alice 和 Bob 分别在 XXX 和 YYY 域上持有概率分布 ppp 和 qqq。他们的目标是估计 Ex∼p,y∼q[f(x,y)]\mathbb{E}_{x \sim p, y \sim q}[f(x, y)]Ex∼p,y∼q[f(x,y)] 到双方已知的有界函数 fff 的加性误差 ε\varepsilonε 内。我们将此称为分布式估计问题。这个问题的特殊情况出现在各个领域，包括草图、数据库和学习。我们的目标是了解所需的沟通如何与......
AgREE: Agentic Reasoning for Knowledge Graph Completion on Emerging Entities
开放领域知识图谱补全（KGC）在不断变化的世界中面临着重大挑战，特别是考虑到每日新闻中不断出现新实体时。现有的 KGC 方法主要依赖于预训练语言模型的参数知识、预构建的查询或单步检索，通常需要大量的监督和训练数据。即便如此，他们通常无法捕获有关不受欢迎和/或新兴实体的全面且最新的信息。为此，我们介绍了新兴实体的代理推理（AgREE），这是一本小说……
Score Distillation of Flow Matching Models
扩散模型实现了高质量的图像生成，但受到缓慢的迭代采样的限制。蒸馏方法通过一步或几步生成来缓解这一问题。流匹配最初是作为一个独特的框架引入的，后来被证明在理论上等同于高斯假设下的扩散，这就提出了蒸馏技术（例如分数蒸馏）是否可以直接转移的问题。我们提供了一个简单的推导——基于贝叶斯规则和条件期望——统一了高斯扩散和流量匹配，而不依赖于 ODE/SDE……
DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP
在极低光照条件下进行高质量摄影虽然具有挑战性，但对于数码相机来说却具有影响力。借助先进的计算硬件，传统的相机图像信号处理器 (ISP) 算法逐渐被高效的深度网络所取代，这些网络可以更智能地增强噪声原始图像。然而，现有的基于回归的模型通常会最大限度地减少像素错误，并导致低光照片或深阴影的过度平滑。最近的工作试图通过从头开始训练扩散模型来解决这一限制，但这些模型仍然难以恢复清晰的图像细节......
Unified Open-World Segmentation with Multi-Modal Prompts
近年来，开放世界图像分割技术迅速发展，包括开放词汇分割和上下文分割。尽管如此，现有方法仅限于单一模态提示，缺乏复杂的对象感知提示所需的灵活性和准确性。在这项工作中，我们提出了 COSINE，一个统一的开放世界分割模型，它整合了开放词汇分割和上下文分割。通过将开放词汇任务和上下文分割任务构建为可提示的分割任务，COSINE 支持多种输入模式……
Data-Centric Lessons To Improve Speech-Language Pretraining
口语问答 (SQA) 是有用的交互式人工智能系统的核心功能。最近，发布了几种语音语言模型 (SpeechLM)，专门致力于提高其 SQA 性能。然而，尽管其他数据模式的类似研究取得了实质性进展，但由于缺乏对预训练数据处理和管理的受控消融，使得理解哪些因素影响性能变得具有挑战性。在这项工作中，我们通过对预训练 SpeechLM 进行以数据为中心的探索来解决这一差距。我们专注于三个......
我们推出 UniGen-1.5，这是一种用于高级图像理解、生成和编辑的统一多模态大语言模型 (MLLM)。在UniGen的基础上，我们全面增强了模型架构和训练流程，以增强图像理解和生成能力，同时释放强大的图像编辑能力。特别是，我们提出了一种统一的强化学习（RL）策略，通过共享奖励模型共同改进图像生成和图像编辑。为了进一步增强图像编辑性能，我们提出了一个轻型编辑指令对齐阶段......
Synthetic Bootstrapped Pretraining
我们介绍了合成引导预训练（SBP），这是一种语言模型（LM）预训练过程，它首先从预训练数据集中学习文档之间的关系模型，然后利用它来合成一个巨大的新语料库以进行联合训练。虽然标准预训练教会 LM 学习单个文档中标记之间的因果相关性，但它并不是为了有效地建模丰富的、可学习的文档间相关性而设计的，而这种相关性可能会带来更好的性能。我们通过设计计算匹配的预训练设置并预训练 3B 参数来验证 SBP……
GIE-Bench: Towards Grounded Evaluation for Text-Guided Image Editing
使用自然语言指令编辑图像已成为一种自然且富有表现力的修改视觉内容的方式；然而，评估此类模型的性能仍然具有挑战性。现有的评估方法通常依赖于 CLIP 等图像文本相似度度量，但缺乏精度。在这项工作中，我们引入了一个新的基准，旨在以更扎实的方式评估文本引导图像编辑模型，沿着两个关键维度：（i）功能正确性，通过自动生成的多项选择题进行评估，以验证预期的更改是否成功......
Sharp Monocular View Synthesis in Less Than a Second
我们提出了 SHARP，一种从单个图像合成逼真视图的方法。给定一张照片，SHARP 会回归所描绘场景的 3D 高斯表示的参数。在标准 GPU 上，通过神经网络的单个前馈传递，这一过程可在不到一秒的时间内完成。然后可以实时渲染由 SHARP 生成的 3D 高斯表示，为附近的视图生成高分辨率的逼真图像。该表示是公制的，具有绝对比例，支持公制相机移动。实验结果表明夏普提供......
Reusing Pre-Training Data at Test Time is a Compute Multiplier
大型语言模型从庞大的预训练语料库中学习，获得解决不断增加的各种任务的能力；然而，尽管研究人员致力于改进这些数据集，但很少有人努力去了解预训练设备从数据中提取想法和知识的效率。在这项工作中，我们使用检索增强生成和测试时计算来量化预训练过程中留下的数据集价值，以及这种变化在规模上的变化。我们证明了预训练然后从标准中检索......
Principled Coarse-Grained Acceptance for Speculative Decoding in Speech
推测性解码通过让快速草稿模型提出由更大的目标模型验证的标记来加速自回归语音生成。然而，对于生成声学标记的语音法学硕士来说，精确的标记匹配过于严格：许多离散标记在声学或语义上是可互换的，从而降低了接受率并限制了加速。我们引入了原则性粗粒度（PCG），它在从目标模型的嵌入空间派生的声学相似性组（ASG）级别验证建议。通过将每个标记的概率质量分布在...
