详细内容或原文请订阅后点击阅览
Llama 3.1 模型现已在 Amazon SageMaker JumpStart 中可用
今天，我们很高兴地宣布，最先进的 Llama 3.1 多语言大型语言模型 (LLM) 集合（包括 8B、70B 和 405B 大小的预训练和指令调整生成式 AI 模型）可通过 Amazon SageMaker JumpStart 部署以进行推理。Llama 是一种可公开访问的 LLM，专为开发人员、研究人员和企业设计，用于构建、试验和负责任地扩展他们的生成式人工智能 (AI) 创意。在这篇文章中，我们将介绍如何使用 SageMaker JumpStart 发现和部署 Llama 3.1 模型。
来源:亚马逊云科技 _机器学习今天，我们很高兴地宣布，最先进的 Llama 3.1 多语言大型语言模型 (LLM) 集合（包括 8B、70B 和 405B 大小的预训练和指令调整生成式 AI 模型）可通过 Amazon SageMaker JumpStart 部署以进行推理。Llama 是一种可公开访问的 LLM，专为开发人员、研究人员和企业设计，用于构建、试验和负责任地扩展他们的生成式人工智能 (AI) 创意。在这篇文章中，我们将介绍如何使用 SageMaker JumpStart 发现和部署 Llama 3.1 模型。
Amazon SageMaker JumpStart 推理Llama 3.1 概述
Llama 3.1 多语言 LLM 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B（文本输入/文本和代码输出）。所有模型都支持长上下文长度 (128,000)，并针对推理进行了优化，支持分组查询注意 (GQA)。Llama 3.1 指令调整的纯文本模型 (8B、70B、405B) 针对多语言对话用例进行了优化，并且在常见的行业基准上优于许多公开可用的聊天模型。
从本质上讲，Llama 3.1 是一种使用优化的转换器架构的自回归语言模型。经过调整的版本使用监督微调 (SFT) 和带人工反馈的强化学习 (RLHF) 来与人类对有用性和安全性的偏好保持一致。从架构上讲，Llama 3 和 Llama 3.1 的核心 LLM 是相同的密集架构。
Llama 3.1 还提供 instruct 变体，并且 instruct 模型针对工具使用进行了微调。该模型经过训练，可以生成对一些特定工具的调用，以实现搜索、图像生成、代码执行和数学推理等功能。此外，该模型支持零样本工具使用。
Meta 的负责任使用指南可以帮助您执行额外的微调，这可能是使用适当的安全缓解措施定制和优化模型所必需的。
AWS Trainium 部署