获取独家产品信息,尽享促销优惠!立即订阅,不容错过
* 限···时··优惠
Optimal Splitting of Language Models from Mixtures to Specialized Domains
本文在 ICLR 2026 基础模型导航和解决数据问题研讨会上被接受。由于可用预训练数据的规模和多样性,语言模型在各种知识、语言和推理任务上取得了令人印象深刻的性能。标准训练方法是一个两阶段范例:首先对完整的数据语料库进行预训练,然后对完整语料库中的高质量、专业数据的子集进行专门化。在多领域设置中,这涉及在每个专门领域上持续预训练多个模型,称为……