Thinking into the Future: Latent Lookahead Training for Transformers
本文被 ICLR 的潜在与内隐思维研讨会 - 超越 CoT 推理 2026 接受。使用下一个标记预测训练的自回归语言模型通过一次采样一个离散标记来生成文本。尽管具有很强的可扩展性，但这个目标迫使模型在每一步都做出承诺，从而阻止它探索或反思多个看似合理的延续。此外，跨代币的计算分配是统一的；每个令牌都是基于单个前向传递形成的，在困难令牌的情况下可能会限制模型的表达能力......
SafetyPairs: Isolating Safety Critical Image Features with Counterfactual Image Generation
本文被 ICLR 2026 的可信人工智能原理设计 — 可解释性、稳健性和跨模态安全性研讨会接受。到底是什么导致特定图像不安全？系统地区分良性图像和有问题的图像是一个具有挑战性的问题，因为图像的细微变化（例如侮辱性手势或符号）可能会极大地改变其安全含义。然而，现有的图像安全数据集粗糙且模糊，仅提供广泛的安全标签，而没有隔离导致这些差异的特定特征。我们介绍...
Optimal Splitting of Language Models from Mixtures to Specialized Domains
本文在 ICLR 2026 基础模型导航和解决数据问题研讨会上被接受。由于可用预训练数据的规模和多样性，语言模型在各种知识、语言和推理任务上取得了令人印象深刻的性能。标准训练方法是一个两阶段范例：首先对完整的数据语料库进行预训练，然后对完整语料库中的高质量、专业数据的子集进行专门化。在多领域设置中，这涉及在每个专门领域上持续预训练多个模型，称为……
