Language Models Improve When Pretraining Data Matches Target Tasks
每个数据选择方法本质上都有一个目标。实际上，这些目标通常通过基准驱动的迭代隐式出现：研究人员制定了选择策略，火车模型，测量基准的性能，然后相应地完善。这提出了一个自然的问题：当我们明确地进行优化时会发生什么？为了探讨这一点，我们提出了以基准为目标的排名（BETR），这是一种基于与基准培训示例的相似性选择预训练文档的简单方法。 betr嵌入基准示例和在共享空间中的预处理文件样本，分数……
Rodney Brooks’s Three Laws of Robotics
Rodney Brooks 是麻省理工学院的松下机器人学教授（名誉教授），他曾担任 AI 实验室主任，后来担任 CSAIL 主任。他是 iRobot、Rethink Robotics 和 Robust AI 的联合创始人，目前担任 Robust AI 的首席技术官。本文经其博客授权转载。以下是我在机器人领域工作近五十年后学到的一些知识。为了纪念我儿时最崇拜的两位科幻小说作家艾萨克·阿西莫夫和亚瑟·克拉克，我将它们称为我的机器人三定律。机器人的外观预示着它能做什么以及它有多聪明。它需要兑现或略微超额兑现这一承诺，否则将不会被接受。当机器人和人共存于同一空间时，机器人绝不能剥夺人的自主权，特别是当
NGDP Targeting in the United Kingdom
英国正在发生一些有趣的事情。那里的一些政府官员正在推动英格兰银行采用 NGDP 目标。来自《独立报》：据一位前部长称，英国财政部官员“可能”正在考虑是否改变英格兰银行的通胀目标任务，以应对冠状病毒危机带来的巨大经济冲击。2015 年担任财政部商业大臣的 Jim O'Neill 勋爵希望央行从目前将通胀率保持在 2% 的目标转向以英国名义 GDP 增长稳步上升的趋势为目标。由于英国财政部决定英格兰银行的货币政策目标，这些抱怨不仅仅是噪音。英国财政部对 NGDP 目标的兴趣日益增加，部分原因是 Jim O'Neil 的努力。他撰写文章、接受采访，并有力地论证了这种货币政策方法。另一个著名声音是最近
