详细内容或原文请订阅后点击阅览
Mustafa Suleyman:人工智能开发不会很快陷入困境 - 这就是原因
我们为线性世界而进化。如果你步行一个小时,你就走了一定的距离。步行两个小时,您的距离就会增加一倍。这种直觉在大草原上对我们很有帮助。但在面对人工智能及其核心指数趋势时,它遭遇了灾难性的失败。从我开始……
来源:MIT Technology Review _人工智能怀疑论者不断预测墙壁。面对这一史诗般的代际计算增长,他们一直在犯错。他们经常指出摩尔定律正在放缓。他们还提到缺乏数据,或者引用能源的限制。
但当你观察推动这场革命的综合力量时,指数趋势似乎是可以预测的。要理解其中的原因,有必要看看头条新闻背后复杂而快速变化的现实。
将人工智能培训视为一个房间,里面挤满了正在使用计算器的人。多年来,增加计算能力意味着在这个房间里增加更多拥有计算器的人。大多数时候,这些工作人员无所事事地坐着,用手指敲打着桌子,等待下一次计算的数字。每一次停顿都浪费了潜力。今天的革命超越了更多更好的计算器(尽管它提供了这些);它实际上是为了确保所有这些计算器永远不会停止,并且它们作为一个整体一起工作。
现在正在融合三项进步来实现这一目标。首先,基本计算器变得更快。 Nvidia 的芯片在短短六年内将原始性能提高了七倍多,从 2020 年的 312 teraflops 增加到今天的 2,250 teraflops。我们自己的 Maia 200 芯片于今年 1 月推出,与我们系列中的任何其他硬件相比,每美元的性能提高了 30%。其次,由于一种称为 HBM(高带宽内存)的技术,数据到达速度更快,该技术像微型摩天大楼一样垂直堆叠芯片;最新一代 HBM3 的带宽是其前身的三倍,能够以足够快的速度向处理器提供数据,使其始终保持忙碌状态。第三,带着计算器的房间变成了办公室,然后变成了整个校园或城市。 NVLink 和 InfiniBand 等技术将数十万个 GPU 连接成仓库大小的超级计算机,充当单个认知实体。几年前,这是不可能的。
然后是软件革命。研究来自
