IBM 发布了四个可在本地运行的全新紧凑型 AI 模型（3.5 亿 - 15 亿个参数）。这些模型可以在普通笔记本电脑、手机和浏览器上运行，无需云服务。根据 Apache 2.0 许可证发布。令人惊讶的是，IBM 向更易于访问的 AI 迈出了大胆的一步，将 Granite 4.0 Nano 作为开源版本发布，这是一个由四种紧凑语言模型组成的系列，实际上可以在笔记本电脑或手机上运行。 Granite 4.0 型号：Granite-4.0-H-1BGranite-4.0-H-350MGranite-4.0-1BGranite-4.0-350M – 基于 Transformer 的变体 这些型号足够小，可以直接在浏览器中运行，无需将数据上传到云端。您现在可以在 IBM 的 Granite Playground 上测试它们。令人惊讶的性能这些模型在高通最新的 NPU Granite-4.0-Micro 上表现良好，在 X2 Elite 计算机上达到每秒 36.4 个令牌，在配备 Snapdragon 8 Elite Gen 5 的智能手机上达到每秒 28.7 个令牌。具有 128K 令牌上下文长度的 30 亿参数模型仅需要 4 GB 内存，也许小到足以在 Raspberry Pi 上运行。这是如何开始的 你想尝试Granite 4.0 Nano吗？有多种方法可以开始。您可以在笔记本电脑、移动设备上本地运行模型，甚至可以通过 WebGPU 加速直接在浏览器中运行。IBM 的 Granite Playground：https://www.ibm.com/granite/playgroundGranite WebGPU HuggingFace：https://huggingface.co/spaces/ibm-granite/Granite-4.0-Nano-WebGPU 对于开发人员来说，这些模型可在 Hugging Face、Docker 和 IBM 自己的 watsonx.ai 平台上使用。所有模型都是开源的，具有 Apache 2.0 许可证，这意味着您可以自由使用和修改它们。更多信息：