MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE
大型语言模型 (LLM) 的生成质量通常可以通过利用推理时间序列级缩放方法（例如思想链）来提高。我们引入了超并行扩展，这是一种补充框架，可以提高令牌级别的预测质量。超并行扩展计算并聚合模型中单个令牌的多个输出建议。我们在专家混合 (MoE) 模型中实现这一概念，我们将其称为专家名册 (RoE)。 RoE 是一种免训练推理算法，可将单个 MoE 转变为 MoE 的动态集合。投资回报率...
Pretraining with Hierarchical Memories: Separating Long-Tail and Common Knowledge
现代语言模型令人印象深刻的性能提升目前依赖于缩放参数：较大的模型可以存储更多的世界知识并更好地进行推理。然而，将所有世界知识压缩为参数是不必要的，因为每个提示只使用一小部分，并且对于推理时间内存和计算有限的边缘设备来说是不切实际的。我们通过内存增强架构和与现有硬件范例相一致的预训练策略来解决这个缺点。我们引入了小型语言模型，可以访问编码世界知识的大型分层参数存储库。期间...
三个白垩纪核心流星，具有精致的触角。背部习性缩放为相同的统一长度，以突出触角与身体的比例。颜色是基于现存核心流星体而不是实际标本的艺术再现，其颜色在琥珀 A Ferriantenna excalibur gen 中并未保留。等十一月B Ferriantenna“棒状触角” C Magnusantenna wuae。 Ferriantenna excalibur Cumming & Le Tirant, 2021 DOI: doi.org/10.3897/zookeys.1043.67730插图由 Liz Sisk 摘要从白垩纪晚期（塞诺曼阶）的缅甸琥珀中描述了夸大触角 Coreidae 的
