获取独家产品信息，尽享促销优惠！立即订阅，不容错过
* 限···时··优惠
Path-Constrained Mixture-of-Experts
稀疏专家混合 (MoE) 架构通过每层的专家子集独立路由每个令牌。我们建议通过专家路径的视角来看待 MoE 计算——令牌在所有层上进行的专家选择序列。这种观点表明，尽管 N 个专家跨 L 层有 N^L 条可能的路径，但实践中的标记会聚集成一小部分与语言功能一致的路径，但绝大多数路径仍未被探索，这代表了统计上的低效率。这激发了限制有效路径空间的架构……
