详细内容或原文请订阅后点击阅览
使用 SageMaker Unified Studio 和 S3 加速 LLM 对非结构化数据的微调
去年，AWS 宣布了 Amazon SageMaker Unified Studio 与 Amazon S3 通用存储桶之间的集成。这种集成使团队可以轻松地将存储在 Amazon Simple Storage Service (Amazon S3) 中的非结构化数据用于机器学习 (ML) 和数据分析用例。在这篇文章中，我们展示了如何将 S3 通用存储桶与 Amazon SageMaker Catalog 集成，以使用 Amazon SageMaker Unified Studio 微调 Llama 3.2 11B Vision Instruct 以实现视觉问答 (VQA)。
来源:亚马逊云科技 _机器学习去年，AWS 宣布了 Amazon SageMaker Unified Studio 与 Amazon S3 通用存储桶之间的集成。这种集成使团队可以轻松地将存储在 Amazon Simple Storage Service (Amazon S3) 中的非结构化数据用于机器学习 (ML) 和数据分析用例。
在这篇文章中，我们展示了如何将 S3 通用存储桶与 Amazon SageMaker Catalog 集成，以使用 Amazon SageMaker Unified Studio 微调 Llama 3.2 11B Vision Instruct 以实现视觉问答 (VQA)。对于此任务，我们为大型语言模型 (LLM) 提供输入图像和问题并接收答案。例如，要求从明细收据中识别交易日期：
在本演示中，我们使用 Amazon SageMaker JumpStart 访问 Llama 3.2 11B Vision Instruct 模型。该基础模型开箱即用，在 DocVQA 数据集上的平均标准化编辑相似度 (ANLS) 得分为 85.3%。 ANLS 是一种用于评估模型在视觉问答任务上的性能的指标，它衡量模型的预测答案与真实答案之间的相似度。虽然 85.3% 表现出强大的基线性能，但对于需要更高准确度和精确度的任务来说，这个水平可能不是最有效的。
为了通过微调提高模型性能，我们将使用 Hugging Face 的 DocVQA 数据集。该数据集包含 39,500 行训练数据，每行都有一个输入图像、一个问题和相应的预期答案。我们将使用不同的数据集大小（1,000、5,000 和 10,000 个图像）创建三个微调模型版本。然后，我们将使用 Amazon SageMaker 完全托管的无服务器 MLflow 来跟踪实验并衡量准确性改进情况来评估它们。
为了实现此流程，我们构建了一个架构，使用 Amazon SageMaker Unified Studio 执行数据提取、数据预处理、模型训练和评估。我们将在以下部分中分解每个步骤。