详细内容或原文请订阅后点击阅览
当今限制 AI 模型的真正挑战
提示：这不是 GPU 速度！《今天限制人工智能模型的真正挑战》一文首先出现在《走向数据科学》上。
来源:走向数据科学我们在实现人工智能算法时遇到的一些问题，我们通常关注处理器处理这些问题的能力。
但现在，NVIDIA 的 GPU 为最新的大型语言模型提供支持，各公司竞相构建更快的 AI 加速器。这些新芯片有望提供更强的计算能力、更多的内核以及每秒更多的操作。
因此，人们会认为人工智能的未来取决于构建越来越强大的处理器！但有一个问题。当今的许多人工智能系统并不受执行计算速度的限制。他们受到访问数据速度的限制。他们执行计算所必需的数据。
换句话说，人工智能的未来可能更少依赖于计算，而更多地依赖于内存。
我知道这可能看起来不太直观，但让我们退后一步想象一下：想象一下雇用世界上最高效、最快的厨师。
这位厨师可以以令人难以置信的速度准备饭菜。然而，每种原料都储存在几英里外的仓库里。在厨师做饭之前，需要有人拿起食材并将其送到厨房。
无论厨师多么有才华，有时候他们都会只是站在那里，等待开始烹饪所需的食材到达。
现代人工智能系统面临着类似的挑战。他们使用的处理器可以执行计算，但无法对尚未到达的数据进行操作。如果处理器的计算速度比内存传递信息的速度快，那么性能就会受到数据移动而不是计算的限制。
这就是计算机科学中所谓的内存瓶颈。这是现代人工智能中最重要且讨论最少的挑战之一。
现代模型的规模
为了更好地理解为什么内存已成为如此重要的问题，我们需要考虑当今人工智能模型的规模。早期的机器学习模型可能包含数千或数百万个参数，而现代基础模型包含数十亿甚至数万亿个参数。