在模态上部署裁判员VLLM服务器

作者的图像

我在参加拥抱的黑客马拉松时首先被介绍给模态，我真的很惊讶它的使用方式。该平台允许您在几分钟内构建和部署应用程序，提供类似于本托云的无缝体验。使用Modal，您可以配置Python应用程序，包括诸如GPU，Docker Images和Python依赖项之类的系统需求，然后使用单个命令将其部署到云中。

在本教程中，我们将学习如何设置模式，创建VLLM服务器并将其安全部署到云。我们还将介绍如何使用Curl和OpenAI SDK测试您的VLLM服务器。

1。设置模态

Modal是一个无服务器平台，可让您远程运行任何代码。仅使用一行，您就可以将GPU附加，作为Web端点的功能以及部署持久计划的作业。它是初学者，数据科学家和非软件工程专业人员的理想平台，他们希望避免处理云基础架构。

模态

首先，安装模态Python客户端。此工具使您可以直接从终端构建图像，部署应用程序并直接管理云资源。

接下来，在本地计算机上设置模式。运行以下命令通过帐户创建和设备身份验证来指导：

通过设置VLLM_API_KEY环境变量VLLM提供安全的端点，以便只有有效的API键的人才能访问服务器。您可以使用模态秘密添加环境变量来设置身份验证。

vllm_api_key

使用首选的API键更改您的_actual_api_key_key_here。

your_actual_api_key_here

模态秘密创建vllm-api vllm_api_key = your_actual_api_key_here

这确保您的API密钥保持安全，并且只能通过部署的应用程序访问。

2。使用模态创建VLLM应用程序

Mistralai/agistral-Small-2506

创建a vllm_inference.py文件并添加以下代码：

vllm_inference.py

3。在模态上部署VLLM服务器

在这里 ' .env OpenAi