在本地运行GPT-oss的最佳方法

作者的图像

您是否想知道是否有更好的方法可以在本地安装和运行Llama.cpp？如今，几乎所有本地大型语言模型（LLM）应用程序都依赖于Llama.cpp作为运行模型的后端。但这是捕获量：大多数设置要么太复杂，需要多个工具，要么不给您强大的用户界面（UI）开箱即用。

Llama.cpp

如果可以的话，那不是很棒的：

运行一个强大的模型，例如GPT-oss 20b，只需几个命令即时即可立即使用Modern Web UI，而无需额外的Hasslehave，是本地推理的最快，最优化的设置

运行一个功能强大的模型，例如GPT-oss 20b，只有几个命令

gpt-oss 20b

立即获得现代网络UI，而没有额外的麻烦

现代网络UI

对本地推理具有最快，最优化的设置

最快，最优化的设置

这正是本教程的目的。

在本指南中，我们将使用Llama-CPP-Python软件包与Open WebUI一起浏览最佳，最优化和最快的方法，以在本地运行GPT-oss 20b模型。最后，您将拥有一个易于使用，高效和生产准备就绪的本地LLM环境。

最好，最优化，最快的方法 gpt-oss 20b型号本地 Llama-Cpp-Python 打开webui

＃1。设置您的环境

＃

如果您已经安装了UV命令，那么您的生活变得更加轻松。

uv

如果没有，请不要担心。您可以遵循官方UV安装指南来快速安装它。

UV安装指南

安装了紫外线后，打开终端并安装Python 3.12使用：

接下来，让我们设置一个项目目录，创建虚拟环境并激活它：

mkdir -p〜/gpt-oss && cd〜/gpt-oss
紫外线Venv .venv -Python 3.12
源.venv/bin/activate

＃2。安装Python软件包

现在您的环境已经准备就绪，让我们安装所需的Python软件包。

UV PIP安装 - 升级PIP
UV PIP安装“ Llama-cpp-python [server]” -Extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu124

uv pip安装open-webui huggingface_hub

//