Radio waves enable energy-efficient AI on edge devices without heavy hardware
随着无人机勘察森林、机器人导航仓库以及传感器监控城市街道，世界上更多的决策正在边缘自动进行——在大型网络末端收集信息的小型设备上。
Synthetic Bootstrapped Pretraining
我们介绍了合成引导预训练（SBP），这是一种语言模型（LM）预训练过程，它首先从预训练数据集中学习文档之间的关系模型，然后利用它来合成一个巨大的新语料库以进行联合训练。虽然标准预训练教会 LM 学习单个文档中标记之间的因果相关性，但它并不是为了有效地建模丰富的、可学习的文档间相关性而设计的，而这种相关性可能会带来更好的性能。我们通过设计计算匹配的预训练设置并预训练 3B 参数来验证 SBP……
