在您的计算机上本地运行 LM Studio 模型

在本地运行 LM Studio 模型,并使用 Clarifai Local Runners 通过安全 API 公开它们,完全控制数据和计算。

来源:Clarifai博客 | 实际应用中的人工智能

简介

LM Studio 使得完全在本地计算机上运行和试验开源大型语言模型 (LLM) 变得异常简单,无需互联网连接或云依赖。您可以下载模型、开始聊天并探索响应,同时保持对数据的完全控制。

LM工作室

但是如果您想超越本地界面怎么办?

假设您的 LM Studio 模型已在本地启动并运行,现在您想从另一个应用程序调用它,将其集成到生产中,与您的团队安全地共享,或将其连接到围绕 OpenAI API 构建的工具。

这就是事情变得棘手的地方。 LM Studio 在本地运行模型,但它本身并不通过安全、经过身份验证的 API 公开它们。手动设置意味着您需要自行处理隧道、路由和 API 管理。

这就是 Clarifai Local Runners 的用武之地。Local Runners 可让您直接从笔记本电脑、工作站或内部服务器通过公共 API 安全、无缝地为 AI 模型、MCP 服务器或代理提供服务。您不需要上传模型或管理任何基础设施。在本地运行它,Clarifai 处理 API、路由和集成。

本地跑步者

运行后,Local Runner 会与 Clarifai 的控制平面建立安全连接。发送到模型的任何 API 请求都会路由到您的计算机,在本地进行处理,然后返回到客户端。从外部来看,它的行为类似于 Clarifai 托管的模型,而所有计算都发生在本地硬件上。

通过本地跑步者,您可以:

  • 在您自己的硬件上运行模型使用笔记本电脑、工作站或本地服务器,可以完全访问本地 GPU 和系统工具。
  • 在您自己的硬件上运行模型
  • 保持数据和计算的私密性避免上传任何内容。这对于受监管的环境和敏感项目很有用。
  • 保持数据和计算的私密性
  • 跳过基础设施设置无需构建和托管您自己的 API。 Clarifai 提供端点、路由和身份验证。
  • 跳过基础设施设置 注意: 用户 ID id