我们的测试表明,使用美光 DDR5 和第四代英特尔至强处理器,以及英特尔® 高级矩阵扩展 (AMX)(一种用于在 CPU 上进行深度学习、训练和推理的新型内置加速器),可为 AI 应用提供必要的计算能力、内存带宽和容量。与 DDR4-3200 相比,美光 DDR5-4800 的内存带宽提高了 2 倍。除了提高数据速率外,美光 DDR5 还增加了两倍的存储体组、突发长度 (BL16) 和改进的刷新方案,可提供比 DDR4-3200 高得多的有效带宽,超出了更高数据速率本身所能实现的效果。与第三代英特尔至强 8380 CPU 相比,最新的第四代英特尔至强 8490H CPU 的核心数量增加了 50%,并改进了缓存架构(即速度和容量),以提高 AI 推理的性能。为了增加 CPU 核心数量,美光 DDR5 增加了突发长度,每个 DIMM 启用两个独立通道,使服务器平台可用的内存通道增加一倍,以实现更多并发操作。
主要关键词