详细内容或原文请订阅后点击阅览
加速自定义 LLM 部署：使用 Oumi 进行微调并部署到 Amazon Bedrock
在这篇文章中，我们将展示如何在 Amazon EC2 上使用 Oumi 微调 Llama 模型（可以选择使用 Oumi 创建合成数据）、在 Amazon S3 中存储工件以及使用自定义模型导入部署到 Amazon Bedrock 进行托管推理。
来源:亚马逊云科技 _机器学习这篇文章由 Oumi 的 David Stewart 和 Matthew Persons 共同撰写。
微调开源大型语言模型 (LLM) 常常会在实验和生产之间停滞不前。训练配置、工件管理和可扩展部署都需要不同的工具，从而在从快速实验转移到安全的企业级环境时产生摩擦。
在这篇文章中，我们将展示如何在 Amazon EC2 上使用 Oumi 微调 Llama 模型（可以选择使用 Oumi 创建合成数据）、在 Amazon S3 中存储工件以及使用自定义模型导入部署到 Amazon Bedrock 进行托管推理。虽然我们在本演练中使用 EC2，但可以根据您的需求在其他计算服务（例如 Amazon SageMaker 或 Amazon Elastic Kubernetes Service）上完成微调。
Oumi 和 Amazon Bedrock 的优势
Oumi 是一个开源系统，可简化基础模型生命周期（从数据准备、训练到评估）。您无需为每个阶段组装单独的工具，而是定义单个配置并在运行中重复使用它。
此工作流程的主要优点：
Amazon Bedrock 通过提供托管、无服务器推理来补充这一点。使用 Oumi 进行微调后，您可以通过自定义模型导入分三个步骤导入模型：上传到 S3、创建导入作业和调用。无需管理推理基础设施。以下架构图显示了这些组件如何协同工作。
图 1：Oumi 在 EC2 上管理数据、训练和评估。 Amazon Bedrock 通过自定义模型导入提供托管推理。