MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE
大型语言模型 (LLM) 的生成质量通常可以通过利用推理时间序列级缩放方法（例如思想链）来提高。我们引入了超并行扩展，这是一种补充框架，可以提高令牌级别的预测质量。超并行扩展计算并聚合模型中单个令牌的多个输出建议。我们在专家混合 (MoE) 模型中实现这一概念，我们将其称为专家名册 (RoE)。 RoE 是一种免训练推理算法，可将单个 MoE 转变为 MoE 的动态集合。投资回报率...
NVIDIA launches open model family for agentic AI
NVIDIA 的 Nemotron 3 是一个新的开放式 AI 模型系列，专为高效、大规模的多代理系统而构建，可提供高达 100 万个令牌的上下文窗口。它由混合 Mamba-Transformer MoE 架构提供支持，可提供高推理吞吐量，同时支持透明、可扩展且经济高效的 AI 代理以供实际使用。
