NEC 选择使用 NVIDIA A100 Tensor Core GPU,主要原因是使用 NVIDIA A100 进行 AI 运算的总计算速度非常出色。此外,A100 的 GPU 内存带宽为 2TB/s,但在深度学习中,这基本上是内存带宽限制。因此,使用 A100 中的 TF32,范围与 FP32 相同,但精度可以视为 FP16,虽然精度没有受到影响,但可以缓解内存带宽瓶颈。换句话说,更容易利用 A100 的计算性能。特别是,NEC 内部许多小组都在研究和开发使用图像的 AI,例如生物特征认证、图像识别和视频识别,这对 GPU 的内存限制更大。因此,NEC 采用了支持 TF32 的 A100。