详细内容或原文请订阅后点击阅览
来认识一下世界上最小的人工智能超级计算机——它的制造者说，它具有“博士级智能”，并且可以装进你的口袋
这个便携式计算引擎能够运行 1200 亿个参数的 LLM，大约是 GPT-3 的三倍，而无需访问互联网或云。
来源:LiveScience一家美国初创公司开发出了据称是世界上最小的人工智能 (AI) 超级计算机。公司代表表示，它配备了高性能硬件和充足的 RAM，可以运行“博士智能”人工智能模型，尽管它足够紧凑，可以放进口袋里。这意味着他们能够自主解决问题、抽象推理和战略规划。
Tiiny AI 的创建者将该设备命名为“AI Pocket Lab”，能够在本地运行复杂的 1200 亿参数大语言模型 (LLM)，而不依赖于互联网连接。您通常需要数据中心级基础设施来运行这些系统，它开启了本地专家级编码能力、文档评估和细化或多步骤推理的可能性。
它围绕 12 核 ARM 处理器构建，这种处理器常见于智能手机、笔记本电脑和平板电脑。尽管其框架很小，尺寸仅为 5.59 × 3.15 × 1.00 英寸（14.2 × 8 × 2.53 厘米），但它配备了 80 GB LPDDR5X RAM。相比之下，当前大多数笔记本电脑都配备 8 GB 到 32 GB 的 RAM。
Pocket Lab 的 48 GB RAM 还专门为神经处理单元 (NPU) 保留，该芯片是针对 AI 相关计算进行优化的芯片。英特尔和 AMD 多年来一直在制造处理器，其中包括专用 NPU，用于处理 AI 工作负载并满足微软在 Windows 11 上运行 AI 功能的每秒 40 万亿次操作 (TOPS) 的阈值。
Pocket Lab 有资格成为超级计算机（而不是标准迷你 PC 或工作站），因为它具有计算能力，能够运行通常需要多 GPU、数据中心级系统的工作负载（特别是对超过 1000 亿个参数语言模型的本地推理）。该设备当前可以运行的型号包括 GPT-OSS 120B、大 Phi 型号和高参数 Llama 系列型号。