详细内容或原文请订阅后点击阅览
使用 Amazon SageMaker Autopilot 微调大型语言模型
微调基础模型 (FM) 是一个过程，涉及将预先训练的 FM 暴露给特定于任务的数据并微调其参数。然后它可以加深理解并为该特定领域产生更准确和相关的输出。在本文中，我们将展示如何使用 Amazon SageMaker Autopilot 训练作业和 AutoMLV2 […]
来源:亚马逊云科技 _机器学习微调基础模型 (FM) 是一个过程，涉及将预先训练的 FM 暴露给特定于任务的数据并微调其参数。然后，它可以加深理解并为该特定域生成更准确、更相关的输出。
在本文中，我们展示了如何使用 Amazon SageMaker Autopilot 训练作业和 AutoMLV2 SDK 在问答任务上微调 Meta Llama2-7B 模型。具体来说，我们针对物理、化学和生物学的多项选择科学考试问题训练模型。这种微调方法可以扩展到医疗保健、教育或金融服务等领域的其他任务，例如摘要或文本生成。
Amazon SageMaker Autopilot AutoMLV2AutoMLV2 支持基于指令的微调由 Amazon SageMaker JumpStart 提供支持的一系列通用 FM。我们使用 Amazon SageMaker Pipelines，它有助于自动执行不同的步骤，包括数据准备、微调和创建模型。我们使用开源库 fmeval 来评估模型，并根据其性能将其注册到 Amazon SageMaker 模型注册表中。
Amazon SageMaker JumpStart Amazon SageMaker Pipelines fmeval Amazon SageMaker 模型注册表解决方案概述
以下架构图显示了使用 AutoMLV2 创建自动化和可扩展流程以微调大型语言模型 (LLM) 所涉及的各个步骤。AutoMLV2 SDK 通过提供高级函数和抽象简化了创建和管理 AutoML 作业的过程，使不熟悉 AutoML 概念的开发人员可以轻松理解。CreateAutoMLJobV2 API 提供了一个低级接口，允许更多控制和自定义。使用 SDK 可以带来诸多好处，例如更快的原型设计、更好的可用性和预构建的功能，并且 API 更适合高级自定义。
Amazon SageMaker Studio要创建训练管道，请完成以下步骤：
GitHub repo SciQ fmeval