详细内容或原文请订阅后点击阅览
埃隆·马斯克透露 xAI 的“Colossus”，可能是世界上最强大的超级计算机
埃隆·马斯克的初创公司 xAI 公布了其最新成果：一台名为 Colossus 的超级计算机。这个庞大的 AI 训练系统目前拥有 100,000 个 Nvidia Hopper H100 处理器。Colossus 位于田纳西州孟菲斯，将扩充 50,000 个 Nvidia 新的、更先进的 H200 系列芯片，其性能大约是 H100 的两倍。如果 Colossus 还不是地球上最强大的计算机，这几乎肯定会使它成为地球上最强大的计算机。作为背景，Meta 宣布计划在 2024 年底前积累 350,000 个 H100 GPU，而 OpenAI 被认为只会使用大约 25,000 个 GPU 用于 GPT-4，尽管它可能《埃隆·马斯克透露 xAI 的“Colossus”，可能是世界上最强大的超级计算机》一文首先出现在 DailyAI 上。
来源:DailyAI | 探索人工智能的世界埃隆·马斯克（Elon Musk）的创业公司Xai揭示了其最新的创作：一个名为Colossus的超级计算机。
这种大规模的AI培训系统目前拥有100,000个NVIDIA HOPPER H100处理器。
位于田纳西州的孟菲斯，巨像将通过NVIDIA新的，更先进的H200系列芯片的50,000张扩展，大约是H100的两倍。
位于田纳西州孟菲斯，巨像将通过如果还没有，那几乎可以肯定会使巨像成为地球上最强大的计算机。
在上下文中，Meta宣布了计划在2024年底之前累积350,000 h100 GPU，而Openai则被认为仅用于GPT-4的25,000 GPU，尽管可能还有更多。
马斯克在劳动节周末宣布在X上推出了巨像，并指出：“从头到尾，这是在122天内完成的。巨像是世界上最强大的AI训练系统。此外，几个月后，它的尺寸将翻一番，达到200k（50k H200）。”
为Grok的未来提供动力
巨像的直接目的是训练Xai的大型语言模型（LLM），称为Grok。
grok目前，Grok仅用于向Musk的X社交媒体平台的订户支付订户。该公司已经发布了Grok-2的早期Beta，该Beta培训了约15,000 nvidia h100s。
尽管培训数据集相对较小，但根据竞争性聊天机器人排行榜，Grok-2已经被认为是功能强大的AI大语言模型之一。
它也是开源的，它阻碍了竞争对手OpenAI，Anthropic和Google发行的封闭源模型的趋势。
马斯克对Grok的野心是奢侈的。他已经在寻找Grok-3，计划于2024年12月发布。
在7月的乔丹·彼得森（Jordan Peterson）的一次采访中，马斯克大胆地声称：“ Grok-3应该是当时世界上最强大的AI。”
GPU训练的大量增加Grok-3表明马斯克对这一主张很认真。