The Data-Quality Illusion: Rethinking Classifier-Based Quality Filtering for LLM Pretraining
大型模型是在包含混合质量文档的大量网络爬行数据集上进行预训练的，因此数据过滤至关重要。一种流行的方法是基于分类器的质量过滤 (CQF)，它训练二元分类器来区分预训练数据和小型高质量数据集。它为每个预训练文档分配一个定义为分类器分数的质量分数，并仅保留得分最高的分数。我们对 CQF 进行了深入分析。我们表明，虽然 CQF 提高了下游任务性能，但它不一定能增强高质量的语言建模......
4 Runway Illusions, And How To Solve Them
您是否曾经飞过特别宽或特别窄的跑道，或者有明显坡度的跑道？以下是您应该对形状奇怪的跑道产生的错觉，以及如何在着陆的整个过程中保持正确的滑翔路径。
■概要 三井住友消费金融有限公司对25岁至39岁之间的未婚正在寻找婚姻的人以及结婚前正在寻找婚姻的已婚人士进行了“关于寻找婚姻的意识和情况的调查”，结果显示，80.6％的正在寻找婚姻的未婚男女感到“厌倦了寻找婚姻” ”而从性别来看，男性为74.4%，女性为86.8%，接近90%。同一项调查还询问了受访者在寻找婚姻时遇到的困难，回答率最高的是“遇到符合我要求的人”（51.4%），其次是“让符合我要求的人喜欢我”（43.8%）和“保持动力”（39.6%）。笔者认为，寻找符合条件的伴侣的行为就意味着被纳入人们相互选择为“可替代他人”的结构之中。本文以近代社交性弱化、网络社区扩张的背景为背景，探讨在“
Busted: 'Mean-spirited' Trump allies hid collusion to inflate grocery costs
周五，一家非营利组织迫使特朗普政府公开了拜登时代的联邦贸易委员会对百事可乐与沃尔玛勾结提高全国食品价格的严厉投诉。新的未经编辑的信息声称，联邦贸易委员会主席弗格森和他的同事马克·米多尔（均为特朗普任命的人）隐瞒了百事可乐和沃尔玛定价的机制。BIG Newsletter 撰稿人马特·斯托勒报道说，百事可乐是杂货店的“必备”产品，而沃尔玛也非常强大。批评者称，百事可乐涉嫌进行价格歧视，以维持其最大买家沃尔玛的认可，甚至甚至监管规模较小的竞争对手的价格。它还为沃尔玛准备报告，向他们展示其在百事可乐产品上的定价优势。当沃尔玛与其微小竞争对手之间的“价格差距”缩小太多时，百事可乐会跟踪消费者在沃尔玛之外
