详细内容或原文请订阅后点击阅览
OpenAI 发布了首款 Jalapeo 芯片 - 并向 Nvidia 暗示事情很快就会变得热门
OpenAI 发布了首款 Jalapeo 芯片 - 并向 Nvidia 暗示事情很快就会变得热门
来源:安全实验室新闻频道OpenAI 发布了首款 Jalapeo 芯片 - 并向 Nvidia 暗示事情很快就会变得热门
OpenAI 与 Broadcom 合作推出了用于大型语言模型的 Jalapeo 芯片。该芯片将在数据中心中使用，不是用于训练神经网络，而是用于模型推理：ChatGPT、Codex或OpenAI编程接口接受用户请求、计算答案并返回结果的阶段。
Jalapeo 是 OpenAI 第一个用于此类工作负载的专用处理器。现在该公司从外部供应商（主要是英伟达）购买加速器，但市场上仍然没有足够的计算能力。定制芯片应该让 OpenAI 对模型、软件层、内存、网络和服务器机架如何协同工作具有更大的影响力。
Broadcom 将 Jalapeo 描述为专用集成电路 (ASIC)。与通用图形加速器不同，这种芯片是为预先选择的任务而设计的。在 Jalapeo 中，这项任务被简化为服务大型语言模型：令牌处理、快速内存访问、节点之间的数据传输以及处理大量请求。
模型推理已成为人工智能行业的一个单独问题。在大型训练周期中，训练需要大量计算，但模型需要根据每个请求一次又一次地运行。随着越来越多的人使用 ChatGPT、Codex 和类似服务，响应延迟、能源消耗、每次调用成本以及高峰需求期间的服务弹性变得更加重要。
OpenAI 声称 Jalapeo 是为公司的真实产品而设计的，而不是为了抽象测试。工程师考虑了 ChatGPT、Codex、API 和未来代理系统的工作负载，其中模型连续执行多个步骤、调用工具并更长时间地保存任务上下文。