详细内容或原文请订阅后点击阅览
单芯片512GB：新内存可容纳数万亿参数的AI模型
Sandisk 和 SK Hynix 提出用闪存驱动器替代稀缺内存。
来源:安全实验室新闻频道单芯片512GB：新内存可容纳数万亿参数的AI模型
Sandisk 和 SK Hynix 提出用闪存驱动器替代稀缺内存。
现代人工智能加速器已经学会了处理巨大的神经网络，但有限的内存仍然迫使开发人员将模型分布在多个处理器上。 Sandisk和SK Hynix提出用高速HBF闪存来解决该问题，该闪存应将SSD的容量与接近HBM的带宽结合起来。
几乎所有强大的 GPU 和人工智能加速器都使用 HBM 内存。 HBM 的吞吐量达到每秒几 TB，但单个模块的容量以数十 GB 为单位。大型模型无法装入单个加速器的内存中，因此开发人员必须通过昂贵且复杂的高速连接来组合多个处理器。
Sandisk 和 SK Hynix 正在开发的高带宽闪存技术在外观和设计上与 HBM 相似。制造商将存储芯片堆叠在一起，增加了整体容量和吞吐量。第一代 Sandisk 模块将有 16 层，但开发人员将使用 NAND，而不是 HBM 中使用的 DRAM 内存。
根据技术描述，第一代 HBF 将能够以高达 1.6 TB/s 的速度读取数据。该数字略高于 HBM3e 的速度，但明显低于 HBM4，其中单个 12 层堆栈的吞吐量达到 2.5 TB/s。下一代 HBF 应该会突破 2 TB/s 大关，稍后将速度提高到 3.2 TB/s。
HBF的主要优势不在于速度，而在于容量。 Sandisk 计划使用每个 256 Gbit 的 NAND 芯片。单个 16 层模块将能够存储 512 GB 数据，是最新 AMD 和 Nvidia 加速器中 HBM4 堆栈容量的 14 倍以上。