详细内容或原文请订阅后点击阅览
无限AI内存终于解锁
韩国研究人员可能刚刚解决了人工智能最大的限制之一——减慢大规模人工智能系统速度的“内存墙”。他们基于以太网的新技术允许人工智能服务器实时共享内存，从而有可能解锁更快、更便宜且几乎无限的人工智能基础设施。
来源:Qudata无限AI内存终于解锁
随着人工智能模型的规模和复杂性不断增长，一个主要挑战变得越来越难以忽视：内存限制。即使 GPU 变得更快、更强大，大规模人工智能系统也经常会遇到研究人员所说的“内存墙”——内存容量不足会急剧降低计算效率的瓶颈。
现在，韩国的研究人员开发出了一种很有前景的解决方案。
电子与电信研究所 (ETRI) 推出了 OmniXtend，一种基于以太网的内存扩展技术。这一突破旨在克服大规模人工智能训练环境中的内存短缺问题，并可显着提高未来人工智能基础设施的可扩展性、成本效率和性能。
大型语言模型 (LLM)、生成式 AI 和高性能计算工作负载的快速兴起极大地增加了内存需求。传统的服务器架构将内存与各个设备紧密耦合，造成了严重的可扩展性限制。
OmniXtend 引入了一种根本不同的方法。它不只依赖本地连接的内存，而是使用标准以太网作为内存互连结构。这使得内存资源能够在服务器和加速器之间动态池化和共享，从而创建一个可以实时访问的统一的、大规模的“内存池”。
实际上，整个网络上的分布式内存资源现在可以作为一个连贯的、可扩展的系统发挥作用。
传统的高性能计算系统通常依赖于 PCIe 等高速串行接口。虽然这些架构对于较小的设置有效，但在可扩展性、连接距离和部署灵活性方面存在局限性。
相比之下，OmniXtend 利用现有的以太网基础设施和标准以太网交换机将多个物理分布的设备聚合到共享内存环境中。