机构名称：
¥ 2.0
在训练场景中，英特尔® Gaudi® 3 加速器相对于上一代产品几乎所有的先进功能都发挥了作用。由于训练场景是计算密集型的，因此增加的计算比率可带来立竿见影的效果。增加的 HBM 带宽允许更大的计算来体现增加的计算能力。此外，更大的 HBM 容量也有助于提高性能。更大的 HBM 容量允许增加批处理大小，从而实现更高的计算利用率，并避免重新计算某些部分工作负载或避免模型并行拆分，从而在运行时增加网络操作。一般而言，LLM 推理吞吐量由可用的 HBM 带宽决定，可用于读取模型参数和上下文窗口。将英特尔® Gaudi® 3 加速器与英特尔® Gaudi® 2 加速器进行比较时，我们发现对于小型 LLM（13B 大小的模型或更小），加速比与两代加速器之间的 HBM 带宽比率相似，大约为 1.5 倍。然而，当比较较大的 LLM 模型（如 LLama-70B 和 Falcon-180B）时，我们看到改进大于 HBM 带宽比，并且超过了 2 倍的比率。更大的改进是由于英特尔® Gaudi® 3 加速器可用的内存容量更大。这种更大的容量允许使用更大的批处理大小，因此可以在给定的时间内处理更多的样本。
英特尔® Gaudi® 3 人工智能加速器 - cloudfront.net
主要关键词
相关文件推荐
