详细内容或原文请订阅后点击阅览
软银进军云软件市场
Infrinia AI Cloud OS 在 GPU 基础设施之上自动化 Kubernetes 管理和推理服务。
来源:OSP网站大数据新闻软银开发了一个用于管理专为人工智能工作负载设计的数据中心的软件堆栈，该软件堆栈可实现基础设施管理自动化并为大型语言模型提供推理服务 - Infrinia AI Cloud OS。新软件可以在 Nvidia GB200 NVL72 等 GPU 平台上执行从 BIOS 配置到 Kubernetes 管理等任务。
软银表示，通过部署 Infrinia AI Cloud OS，AI 数据中心运营商将能够在多租户环境中提供 Kubernetes 即服务 (KaaS) 服务，以及通过其基于 GPU 的云服务中的 API 进行大型语言模型推理的推理即服务 (Inf-aaS)。该控股公司声称，新软件解决了基于GPU的云服务的运营问题，与定制或内部解决方案相比，降低了总拥有成本和运营负载。
其 Kubernetes 即服务组件可实现整个堆栈的自动化 - 从 BIOS 和 RAID 设置到操作系统、GPU 驱动程序、网络连接、Kubernetes 控制器和存储系统。它还在创建和更新集群时动态重新配置 NVLink 连接和内存，根据 GPU 的接近程度和 NVLink 域配置分配节点以减少延迟。
推理即服务允许您选择大型语言模型并部署推理服务，而无需用户了解 Kubernetes 或基础设施，提供与 OpenAI 兼容的 API，并可在 GB200 NVL72 等平台上跨多个节点进行扩展。
软银计划首先使用自己的基于 GPU 的云服务部署新软件，然后将其提供给外部客户。