详细内容或原文请订阅后点击阅览

Amazon Bedrock 自定义模型导入如何简化 Salesforce 的 LLM 部署

2025年10月14日 16:33 33 Comments
X Twitter Instagram Mail

本文展示了 Salesforce 如何将 Amazon Bedrock 自定义模型导入集成到其机器学习操作 (MLOps) 工作流程中，在不更改应用程序的情况下重用现有终端节点，以及如何对可扩展性进行基准测试。我们分享有关运营效率和成本优化收益的关键指标，并提供简化部署策略的实用见解。

来源:亚马逊云科技 _机器学习
本文由 Salesforce 的 AI 平台团队成员 Srikanta Prasad、Utkarsh Arora、Raghav Tanaji、Nitin Surya、Gokulakrishnan Gopalakrishnan 和 Akhilesh Deepak Gotmare 共同撰写。Salesforce 的人工智能 (AI) 平台团队运行定制的大型语言模型 (LLM)——经过微调的版本 Llama、Qwen 和 Mistral - 适用于 Agentforce 等代理 AI 应用程序。部署这些模型会产生运营开销：团队花费数月时间来优化实例系列、服务引擎和配置。此过程非常耗时，难以在频繁发布的情况下维护，而且由于为峰值使用预留 GPU 容量，成本高昂。Salesforce 通过采用 Amazon Bedrock 自定义模型导入解决了这个问题。借助 Amazon Bedrock 自定义模型导入，团队可以通过统一的 API 导入和部署自定义模型，最大限度地减少基础设施管理，同时与 Amazon Bedrock 知识库、Amazon Bedrock Guardrails 和 Amazon Bedrock Agents 等 Amazon Bedrock 功能集成。这种转变让 Salesforce 专注于模型和业务逻辑，而不是基础设施。本文展示了 Salesforce 如何将 Amazon Bedrock 自定义模型导入集成到其机器学习操作 (MLOps) 工作流程中，在不更改应用程序的情况下重用现有端点，以及如何对可扩展性进行基准测试。我们分享有关运营效率和成本优化收益的关键指标，并提供简化部署策略的实用见解。 集成方法 Salesforce 从 Amazon SageMaker Inference 过渡到 Amazon Bedrock 自定义模型导入需要与其现有 MLOps 管道仔细集成，以避免中断生产工作负载。该团队的主要目标是维护当前的 API 端点和模型服务接口，保持零停机并且无需对下游应用程序进行更改。通过这种方法，他们可以使用 Amazon Bedrock 的无服务器功能，同时保留对现有基础设施的投资和
Amazon Salesforce 人工智能 定制的 导入 基础设施 服务 自定义 运营 部署策略 集成 当前的 优化 机器学习 Bedrock 服务器 知识库 团队 成本 工作负载 模型 统一的 应用程序 策略的 AI 发布的 可扩展性