机构名称：
¥ 4.0
预计的性能可能会更改令牌到token的延迟（TTL）= 50毫秒（MS）实时GPT-3 175B：第一个令牌延迟（FTL）2s；输入序列长度= 2,048，输出序列长度= 128，4 HGX H100气冷400GB IB网络与2 GB200 SuperChips液体冷却NVLink；根据GPU性能比较，GPT-MOE-1.8T：FTL = 5s;输入序列长度= 32,768，输出序列长度= 1,024，8 HGX H100气冷400GB IB网络vs 18 GB200 SuperChips液体冷却NVL36;每GPU性能比较
nvidia omniverse
主要关键词
相关文件推荐
