详细内容或原文请订阅后点击阅览
路径受限的专家混合
稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明，尽管 N 个专家跨 L 层有 N^L 条可能的路径，但实践中的标记会聚集成一小部分与语言功能一致的路径，但绝大多数路径仍未被探索，这代表了统计上的低效率。这激发了限制有效路径空间的架构……
来源:Apple机器学习研究稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明，尽管 N 个专家跨 L 层有 N^L 条可能的路径，但实践中的标记会聚集成一小部分与语言功能一致的路径，但绝大多数路径仍未被探索，这代表了统计上的低效率。这激发了限制有效路径空间的架构来放大这种自然集中。作为一个实例，我们引入 PathMoE，它在连续层的块之间共享路由器参数。分析证实，PathMoE 放大了紧急路径结构：它产生更集中的路径簇、更好的跨层一致性以及对路由扰动的更强鲁棒性。对 0.9B 和 16B 参数 PathMoE 模型的实验表明，相对于独立路由，困惑度和下游任务得到了一致的改进，同时消除了辅助损失的需要。这些结果将专家路径确立为 MoE 架构的有用设计轴，对独立路由机制的现有工作进行补充。