详细内容或原文请订阅后点击阅览
AWS AI 芯片为 AWS 上的 Llama 3.1 模型提供高性能和低成本
今天，我们很高兴地宣布 AWS Trainium 和 AWS Inferentia 支持 Llama 3.1 模型的微调和推理。Llama 3.1 系列多语言大型语言模型 (LLM) 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B。在上一篇文章中，我们介绍了如何在 Amazon SageMaker JumpStart 中基于 AWS Trainium 和 Inferentia 的实例上部署 Llama 3 模型。在这篇文章中，我们概述了如何开始在 AWS AI 芯片上微调和部署 Llama 3.1 系列模型，以实现其性价比优势。
来源:亚马逊云科技 _机器学习今天，我们很高兴地宣布 AWS Trainium 和 AWS Inferentia 支持 Llama 3.1 模型的微调和推理。Llama 3.1 系列多语言大型语言模型 (LLM) 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B。在上一篇文章中，我们介绍了如何在 Amazon SageMaker JumpStart 中基于 AWS Trainium 和 Inferentia 的实例上部署 Llama 3 模型。在本文中，我们概述了如何开始在 AWS AI 芯片上微调和部署 Llama 3.1 系列模型，以实现其性价比优势。
AWS Trainium AWS Inferentia 上一篇文章 Amazon SageMaker JumpStartLlama 3.1 模型概述
Llama 3.1 系列多语言 LLM 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B（文本输入/文本和代码输出）。所有模型都支持长上下文长度 (128k)，并针对推理进行了优化，支持分组查询注意 (GQA)。
Llama 3.1 指令调整模型（8B、70B、405B）针对多语言对话用例进行了优化，并且在常见的行业基准上优于许多可用的公开聊天模型。它们经过训练，可以为一些特定工具生成工具调用，以实现搜索、图像生成、代码执行和数学推理等功能。此外，它们还支持零样本工具使用。
从架构上讲，Llama 3 和 Llama 3.1 的核心 LLM 具有相同的密集架构。它们是使用优化的转换器架构的自回归语言模型。调整后的版本使用监督微调 (SFT) 和带人工反馈的强化学习 (RLHF)，以符合人类对有用性和安全性的偏好。
Meta 的负责任使用指南可以帮助您实施额外的微调，这可能是使用适当的安全缓解措施定制和优化模型所必需的。
Meta 的负责任使用指南 在 AWS 上开始使用 Llama 3.1 部署