详细内容或原文请订阅后点击阅览
使用 BitNet 在本地运行微型 AI 模型初学者指南
了解如何安装 bitnet.cpp、下载 BitNet b1.58 模型以及在计算机上运行完全本地的 AI 聊天和推理服务器。
来源:KDnuggets简介
BitNet b1.58，由微软研究人员开发，是一种原生低位语言模型。它使用值为 \(-1\)、\(0\) 和 \(+1\) 的三元权重从头开始训练。 BitNet 并没有缩小大型预训练模型，而是从一开始就设计为以非常低的精度高效运行。这减少了内存使用和计算要求，同时仍然保持强大的性能。
有一个重要的细节。如果您使用标准 Transformers 库加载 BitNet，您将不会自动获得速度和效率优势。为了充分受益于其设计，您需要使用名为 bitnet.cpp 的专用 C++ 实现，它专门针对这些模型进行了优化。
在本教程中，您将学习如何在本地运行 BitNet。我们将从安装所需的 Linux 软件包开始。然后我们将从源代码克隆并构建 bitnet.cpp。之后，我们将下载 2B 参数 BitNet 模型，将 BitNet 作为交互式聊天运行，启动推理服务器，并将其连接到 OpenAI Python SDK。
步骤 1：在 Linux 上安装所需的工具
在从源代码构建 BitNet 之前，我们需要安装编译 C++ 项目所需的基本开发工具。
首先，安装 LLVM（包括 Clang）：
bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
然后更新您的软件包列表并安装所需的工具：
sudo apt update
sudo apt install clang cmake git
完成此步骤后，您的系统就可以从源代码构建 bitnet.cpp。
第 2 步：从源代码克隆和构建 BitNet
现在所需的工具已安装，我们将克隆 BitNet 存储库并在本地构建它。
首先，克隆官方存储库并移至项目文件夹：
git clone — 递归 https://github.com/microsoft/BitNet.git
cd BitNetpython -m venv venv源 venv/bin/activate输出：