详细内容或原文请订阅后点击阅览
Llama 3.3 70B 现已在 Amazon SageMaker JumpStart 中提供
今天，我们很高兴地宣布 Meta 的 Llama 3.3 70B 已在 Amazon SageMaker JumpStart 中推出。 Llama 3.3 70B 标志着大型语言模型 (LLM) 开发方面取得了令人兴奋的进步，它以更少的计算资源提供了与大型 Llama 版本相当的性能。在本文中，我们将探讨如何在 Amazon SageMaker AI 上高效部署此模型，并使用高级 SageMaker AI 功能实现最佳性能和成本管理。
来源:亚马逊云科技 _机器学习今天，我们很高兴地宣布，Meta 的 Llama 3.3 70B 已在 Amazon SageMaker JumpStart 中推出。Llama 3.3 70B 标志着大型语言模型 (LLM) 开发方面取得了令人振奋的进步，以更少的计算资源提供与大型 Llama 版本相当的性能。
Amazon SageMaker JumpStart Llama 3.3 70B在本文中，我们将探讨如何在 Amazon SageMaker AI 上高效部署此模型，并使用高级 SageMaker AI 功能实现最佳性能和成本管理。
Amazon SageMaker AILlama 3.3 70B 模型概述
Llama 3.3 70B 代表了模型效率和性能优化方面的重大突破。这种新模型的输出质量可与 Llama 3.1 405B 相媲美，而所需的计算资源却很少。据 Meta 称，这种效率提升意味着推理操作的成本效益提高了近五倍，使其成为生产部署的理想选择。
该模型的复杂架构建立在 Meta 优化版的 Transformer 设计之上，具有增强的注意力机制，可帮助大幅降低推理成本。在开发过程中，Meta 的工程团队在一个包含约 15 万亿个 token 的广泛数据集上训练了该模型，其中包括来自网络的内容和专为 LLM 开发创建的超过 2500 万个合成示例。这种全面的训练方法使模型具有跨不同任务的强大理解和生成能力。
Meta 优化版的 Transformer 设计，下图总结了基准测试结果（来源）。
源开始使用 SageMaker JumpStart
通过 SageMaker JumpStart 部署 Llama 3.3 70B 提供了两种便捷的方法：使用直观的 SageMaker JumpStart UI 或通过 SageMaker Python SDK 以编程方式实现。让我们探索这两种方法，以帮助您选择最适合您需求的方法。
构建 JumpStart