详细内容或原文请订阅后点击阅览
AMD 打算加速并降低推理成本
已签署收购加拿大专用人工智能芯片开发商 Taalas 的最终协议。
来源:OSP网站大数据新闻AMD 正在收购一家加拿大专业人工智能处理器开发商。 Taalas 芯片针对特定 AI 模型进行了优化,其权重内置于芯片中,由于无需像传统 GPU 那样从内存加载这些参数,因此可显着减少推理时间和功耗。
许多组织正在寻找降低运行人工智能模型成本的方法。 AMD 认为,对于某些工作负载,他们将使用 Taalas 芯片,而不是通用的耗电密集型 GPU,这是一种针对一种模型的高度专业化的推理处理器,缺乏可编程多功能性,但会显着提高吞吐量和能源效率。
AMD拟将Taalas芯片引入面向AI和高性能计算的AMD Instinct系列服务器图形加速器的开发计划中,重点关注数据中心AI推理的综合解决方案。
然而,分析师对客户购买与特定型号“绑定”的设备的意愿相当怀疑。他们本质上必须同时购买芯片和模型,而 GPU 可以通过更新软件来用于不同的人工智能模型。使用 Taalas 芯片,由于成本、资源调度、生命周期和供应商依赖性的增加,不同的推理任务将需要不同的硬件,特别是对于运行多个人工智能工作负载的公司而言。
还需要注意的是,芯片和模型之间的紧密联系使其成为单一资产,并且由于模型过早报废而导致使用寿命缩短,因此不应将它们视为两项独立折旧的资产。
