预计的性能可能会更改令牌到token的延迟(TTL)= 50毫秒(MS)实时GPT-3 175B:第一个令牌延迟(FTL)2s;输入序列长度= 2,048,输出序列长度= 128,4 HGX H100气冷400GB IB网络与2 GB200 SuperChips液体冷却NVLink;根据GPU性能比较,GPT-MOE-1.8T:FTL = 5s;输入序列长度= 32,768,输出序列长度= 1,024,8 HGX H100气冷400GB IB网络vs 18 GB200 SuperChips液体冷却NVL36;每GPU性能比较
第一季度营收创纪录达到 226 亿美元,较上一季度增长 23%,较去年同期增长 427%。推出 NVIDIA Blackwell 平台,推动万亿参数级 AI 计算新时代,以及由 Blackwell 驱动的用于生成式 AI 超级计算的 DGX SuperPOD™。宣布分别用于 InfiniBand 和以太网的 NVIDIA Quantum 和 NVIDIA Spectrum™ X800 系列交换机,针对万亿参数 GPU 计算和 AI 基础架构进行了优化。推出搭载 NVIDIA NIM 推理微服务的 NVIDIA AI Enterprise 5.0,以加速企业应用开发。宣布台积电和新思科技将与 NVIDIA cuLitho 合作投入生产,以加速计算光刻,这是半导体制造业计算最密集的工作负载。宣布全球九台新型超级计算机正在使用 Grace Hopper 超级芯片,开启 AI 超级计算新时代。揭晓 Grace Hopper 超级芯片为 Green500 榜单上全球最节能超级计算机的前三名机器提供动力。扩大与 AWS、Google Cloud、Microsoft 和 Oracle 的合作,以推动生成式 AI 创新。与 Johnson & Johnson MedTech 合作,将 AI 功能引入手术支持。