Language Models Improve When Pretraining Data Matches Target Tasks
每个数据选择方法本质上都有一个目标。实际上，这些目标通常通过基准驱动的迭代隐式出现：研究人员制定了选择策略，火车模型，测量基准的性能，然后相应地完善。这提出了一个自然的问题：当我们明确地进行优化时会发生什么？为了探讨这一点，我们提出了以基准为目标的排名（BETR），这是一种基于与基准培训示例的相似性选择预训练文档的简单方法。 betr嵌入基准示例和在共享空间中的预处理文件样本，分数……
