详细内容或原文请订阅后点击阅览

端到端的模型培训和Amazon Sagemaker Unified Studio

2025年7月3日 14:04 33 Comments
X Twitter Instagram Mail

In this post, we guide you through the stages of customizing large language models (LLMs) with SageMaker Unified Studio and SageMaker AI, covering the end-to-end process starting from data discovery to fine-tuning FMs with SageMaker AI distributed training, tracking metrics using MLflow, and then deploying models using SageMaker AI inference for real-time inference.我们还讨论了选择合适的实例大小并在使用萨格马克统一工作室的jupyterlab笔记本时分享一些最佳实践的最佳实践。

来源:亚马逊云科技 _机器学习
尽管快速生成的AI进步正在彻底改变组织自然语言处理任务，但开发人员和数据科学家面临着定制这些大型模型的重大挑战。 These hurdles include managing complex workflows, efficiently preparing large datasets for fine-tuning, implementing sophisticated fine-tuning techniques while optimizing computational resources, consistently tracking model performance, and achieving reliable, scalable deployment.The fragmented nature of these tasks often leads to reduced productivity, increased development time, and potential inconsistencies in the model development pipeline.组织需要一种统一的简化方法，可以简化从数据准备到模型部署的整个过程。要解决这些挑战，AWS通过一组全面的数据，分析和生成的AI功能扩展了Amazon SageMaker。这一扩展的核心是亚马逊萨吉马制造商Unified Studio，这是一项集中服务，可作为单个综合开发环境（IDE）。 SageMaker Unified Studio简化了专用AWS分析，人工智能和机器学习（AI/ML）服务，包括Amazon EMR，AWS Glue，亚马逊Athena，Amazon Redshift，Amazon Redshift，Amazon Bedrock和Amazon Sagemaker AI。借助Sagemaker Unified Studio，您可以通过Amazon Sagemaker目录发现数据，从Amazon Sagemaker Lakehouse访问它，从Amazon Sagemaker Jumpstart中访问Select Foundation Models（FMS），或通过Jupyterlab构建它们，通过Jupyterlab构建它们，用SageMaker AI训练基础设施，并在相同的环境中使用SageMaker AI训练基础设施和测试。 Sagemaker AI是一项全面管理的服务，可通过将一组广泛的工具组合在一起，以实现高性能的低成本ML来构建，训练和部署ML模型（包括FMS）。它可以作为AWS管理控制台的独立服务或通过
机器学习 相同的 统一的 AWS 人工智能 高性能的 模型 AI 分析 控制台 科学家 训练 低成本 数据 制造商 Amazon 作为 模型的 Studio 扩展的 基础设施 SageMaker Sagemaker 广泛的 Unified 开发人员 服务 开发环境 简化 ML 管理的 全面的 高性能 部署 fine tuning 吉马