在本地运行完整的DeepSeek-R1-0528型号

作者的图像

DeepSeek-R1-0528是DeepSeek R1推理模型的最新更新，该模型需要715GB的磁盘空间，使其成为可用的最大开源型号之一。但是，由于不塞的高级量化技术，该模型的尺寸可以降低至162GB，减少80％。这使用户可以在硬件要求上体验模型的全部功能，尽管性能略有折衷。

DeepSeek-R1-0528 不舒服

在本教程中，我们将：

设置Ollama并打开Web UI，以在本地运行DeepSeek-R1-0528模型。下载并配置模型的1.78位量化版本（IQ1_S）。使用GPU + CPU和for CPU的设置来实现模型。

设置Ollama并打开Web UI，以在本地运行DeepSeek-R1-0528型号。

下载并配置模型的1.78位量化版本（IQ1_S）。

使用GPU + CPU和仅CPU的设置同时运行模型。

步骤0：先决条件

要运行IQ1_S量化版本，您的系统必须满足以下要求：

GPU要求：至少1x 24GB GPU（例如NVIDIA RTX 4090或A6000）和128GB RAM。使用此设置，您可以预期大约5个令牌/秒的生成速度。

GPU要求：

RAM要求：运行该模型至少需要64GB RAM以在没有GPU的情况下运行模型，但性能将限制为1代币/秒。

RAM要求：

最佳设置：为了获得最佳性能（5+令牌/秒），您至少需要180GB的统一内存或180GB RAM + VRAM的组合。

最佳设置：

存储：确保您至少有200GB的自由磁盘空间及其依赖性。

存储：

步骤1：安装依赖项和Ollama

更新系统并安装所需的工具。 Ollama是一台轻巧的服务器，用于在本地运行大型语言模型。使用以下命令将其安装在Ubuntu分发上：

apt-get更新
apt -get安装pciutil -y
curl -fssl https://ollama.com/install.sh | sh

步骤2：下载并运行模型

此命令将：