详细内容或原文请订阅后点击阅览
高通加速数据中心推理
AI200 和 AI250 提高特定 AI 工作负载的性能和能源效率。
来源:OSP网站大数据新闻在 10 月举行的高通 AI 开发者峰会 2025 论坛上，高通发布了 AI200 和 AI250 芯片以及机架式（服务器）平台，旨在加速数据中心的人工智能工作负载。它们基于适用于数据中心的 Hexagon NPU 架构。
Qualcomm AI200定制芯片基于Hexagon神经协处理器和机架式平台，旨在提高大型语言模型（LLM）和多模态模型（LMM）的推理性能。该方案针对已训练好的AI模型进行了优化，性能稳定，功耗相对较低，可扩展性较高。
AI200在PCIe卡上支持高达768GB的LPDDR RAM，允许大型模型在单个设备上运行，并且还采用液冷。高通声称，该系统的机架功耗高达 160 kW，可降低总拥有成本。
AI200平台将于2026年商用，预计将在AI加速器市场与Nvidia和AMD基于GPU的解决方案展开竞争。
公司代表认为，基于创新内存和计算架构 AI250 的新一代数据中心专用生成式 AI 加速器将从根本上提高 LLM 和 LMM 推理生成的效率。 AI250计划于2027年发布。
紧邻内存的计算架构（近内存计算），据开发人员介绍，与AI200相比，吞吐量将提高一个数量级。这将通过分解人工智能推理过程并更好地利用硬件来提高性能。