详细内容或原文请订阅后点击阅览
模拟人工智能回来了，但它能在自己的噪音中生存下来吗？
人工智能的能源危机正在复兴一个古老的想法：用物理而不是数字逻辑进行计算。以下是模拟芯片的实际工作原理，为什么噪声曾经几乎扼杀了这个想法，以及当您自己模拟该噪声时会发生什么。模拟人工智能回来了，但它能在自己的噪声中生存吗？首先出现在《走向数据科学》上。
来源:走向数据科学现在，GPU 的大部分能量不是花在数学上，而是花在移动数字上。从内存中获取权重，将它们传送到计算单元，进行乘法，然后将结果传送回来。在训练过程中每秒执行数十亿次，持续数月，你就会开始理解为什么人工智能的电费已成为董事会问题而不是工程脚注。
数字支持了这一点。 Gartner 预计，全球数据中心电力需求将从 2025 年的 104 吉瓦攀升至 2026 年的 132 吉瓦，到 2030 年将达到约 290 吉瓦，生成型人工智能工作负载被称为主要驱动力。预计今年仅人工智能优化服务器就将占数据中心能耗的近三分之一。
这是一个旧观念悄然复兴的背景：模拟计算。实际的模拟电路，使用连续的电压和电流而不是 1 和 0，来进行主导神经网络推理的矩阵乘法。这个说法很诱人：为什么不让物理直接计算，而不是数字化地计算物理呢？
当然，这不是什么新想法，模拟计算机早于数字计算机。它在几十年前被放弃是有充分理由的。这篇文章讲述了这个故事的两部分：为什么这个宣传真正引人注目，以及为什么第一次杀死模拟计算的因素实际上并没有消失。我将逐步介绍该机制，然后运行一些小型、诚实的模拟，准确显示其损坏的位置，以及研究人员如何开始修补它。
模拟内存计算的实际工作原理
在传统芯片中，内存和计算是分开的。每次将权重乘以输入时，该权重必须从内存阵列穿过总线进入计算单元，并且结果必须返回。研究人员估计，这种运动所消耗的能量是算法本身的 3 到 10,000 倍，这就是所谓的冯·诺依曼瓶颈。