显式关键词检索结果

使用长形式声学编码的分段注意力解码

Segmental Attention Decoding with Long Form Acoustic Encodings

我们解决了基于注意力的编码器-解码器(AED)模型与长形式声学编码的根本不兼容问题。在分段话语上训练的 AED 模型通过利用片段边界之外的有限声学上下文来学习对绝对帧位置进行编码,但在解码这些线索消失的长片段时无法泛化。由于交叉注意力中键和值的排列不变性,该模型失去了对声学编码进行排序的能力。我们提出了四种修改:(1)将显式绝对位置编码注入每个解码的交叉注意力中......

TopoPrimer:预测模型中缺失的拓扑上下文

TopoPrimer: The Missing Topological Context in Forecasting Models

我们引入了 TopoPrimer,一个框架,使序列总体的全局拓扑结构成为任何预测模型的显式输入。 TopoPrimer 提高了不同领域的准确性,稳定了季节性需求高峰下的预测,并缩小了冷启动差距。 TopoPrimer 通过持久同源性和谱束坐标对每个域进行一次预计算,将每个令牌部署为经过充分训练的模型,并作为预训练主干的轻量级适配器。在这两个组件中,层坐标是主要的精度驱动因素。跨越 Chronos 的四个公共基准和……

自适应并行推理:高效推理扩展的下一个范例

Adaptive parallel reasoning: the next paradigm in efficient inference scaling

自适应并行推理概述。如果推理模型可以自行决定何时分解和并行化独立子任务、生成多少个并发线程以及如何根据当前问题协调它们,会怎样?我们对并行推理领域的最新进展进行了详细分析,特别是自适应并行推理。披露:这篇文章部分是景观调查,部分是自适应并行推理的视角。作者之一 (Tony Lian) 共同领导了 ThreadWeaver (Lian et al., 2025),这是下面讨论的方法之一。作者旨在以自己的方式呈现每种方法。 动机 除了数据和参数缩放之外,LLM 推理能力的最新进展很大程度上是由推理时间缩放驱动的(OpenAI 等人,2024 年;DeepSeek-AI 等人,2025 年)。显式输