Two-Stage Hurdle Models: Predicting Zero-Inflated Outcomes
为什么一个模型不能完成两项工作《两阶段障碍模型：预测零膨胀结果》一文首先出现在《迈向数据科学》上。
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
虽然大型语言模型 (LLM) 的缩放法则传统上关注预训练损失等代理指标，但预测下游任务性能被认为是不可靠的。本文提出了一个直接框架来对培训预算中的基准性能扩展进行建模，从而挑战了这一观点。我们发现，对于固定的令牌与参数比，简单的幂律可以准确地描述多个流行下游任务的日志精度的缩放行为。我们的结果表明，直接方法比之前提出的两阶段程序更好地推断......
Optimal Splitting of Language Models from Mixtures to Specialized Domains
本文在 ICLR 2026 基础模型导航和解决数据问题研讨会上被接受。由于可用预训练数据的规模和多样性，语言模型在各种知识、语言和推理任务上取得了令人印象深刻的性能。标准训练方法是一个两阶段范例：首先对完整的数据语料库进行预训练，然后对完整语料库中的高质量、专业数据的子集进行专门化。在多领域设置中，这涉及在每个专门领域上持续预训练多个模型，称为……
AMES: Approximate Multi-modal Enterprise Search via Late Interaction Retrieval
我们提出了 AMES（近似多模式企业搜索），这是一种与后端无关的统一多模式后期交互检索架构。 AMES 证明，细粒度多模式后期交互检索可以部署在生产级企业搜索引擎中，而无需重新设计架构。使用多向量编码器将文本标记、图像块和视频帧嵌入到共享表示空间中，从而无需特定于模态的检索逻辑即可实现跨模态检索。 AMES 采用两阶段管道：并行令牌级 ANN 搜索，每个…
