详细内容或原文请订阅后点击阅览
Nvidia 开发了一款能够同时处理超过一百万个代币的芯片
该公司正在基于新的Rubin架构开发基础设施并提高“AI工厂”的效率
来源:OSP网站大数据新闻Nvidia 宣布推出下一代 AI GPU 和机架式平台，旨在处理大量数据、编码令牌和创建生成视频。新芯片基于 Nvidia 的下一代 Rubin 架构，取代了 Blackwel 技术。
Core Rubin GPU，专为人工智能训练和推理而设计，支持长上下文窗口。它由两个性能为 25 PFLOPS 的处理器芯片、一个 NVLink 互连和 288 GB 高性能 HBM4 内存组成。
Rubin CPX 处理器包含一个性能高达 30 PFLOPS 的芯片，可用于 4 位 NVFP4 数据格式的操作，以及 128 GB GDDR7 内存。该芯片专为人工智能推理和长上下文模型而设计，能够同时处理超过一百万个令牌。 Rubin CPX 支持硬件视频编解码。
Nvidia 声称，GDDR7 内存具有足够的性能，与 GB300 NVL72 系统相比，Rubin CPX 处理器在处理长上下文时可提供三倍的加速。还有报道称，Rubin CPX 比 Rubin 更便宜，但没有具体数据。
Nvidia 解释说，Rubin CPX 处理器旨在提高推理过程预填充阶段计算大型语言模型的性能。他们与带有高速 HBM 内存的 Rubin 芯片联合工作，在该过程的生成阶段输出结果，应该会显着提高人工智能工厂的性能。
双机架配置将 Vera 处理器和 Rubin GPU 放置在一个机架中，将 Rubin CPX 放置在另一个机架中。因此，可以购买不带 CPX 服务器、在单独机架中安装 CPX 服务器以及“混合”服务器配置的系统。