详细内容或原文请订阅后点击阅览
使用 AWS Inferentia 和 AWS Trainium 在 Amazon SageMaker JumpStart 中经济高效地部署 Meta Llama 3.1 模型
我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持，可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
来源:亚马逊云科技 _机器学习我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持现已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。Meta Llama 3.1 多语言大型语言模型 (LLM) 是一组预先训练和指令调整的生成模型。由 AWS Neuron 软件开发工具包 (SDK) 支持的 Trainium 和 Inferentia 可提供高性能，并将部署 Meta Llama 3.1 的成本降低高达 50%。
AWS Trainium AWS Inferentia Amazon SageMaker JumpStart AWS Neuron在本文中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
Meta Llama 3.1 多语言 LLM 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B（文本输入/文本和代码输出）。所有模型都支持长上下文长度（128,000），并针对推理进行了优化，支持分组查询注意 (GQA)。Meta Llama 3.1 指令调整的纯文本模型（8B、70B、405B）针对多语言对话用例进行了优化，并且在常见的行业基准上优于许多可用的开源聊天模型。
从本质上讲，Meta Llama 3.1 是一种使用优化的变压器架构的自回归语言模型。调整后的版本使用监督微调 (SFT) 和带有人类反馈的强化学习 (RLHF) 来与人类对有用性和安全性的偏好保持一致。从架构上看，Meta Llama 3 和 Meta Llama 3.1 的核心 LLM 是相同的密集架构。
Meta Llama 3.1 还提供 instruct 变体，并且 instruct 模型针对工具使用进行了微调。该模型经过训练，可以生成对一些特定工具的调用，以实现搜索、图像生成、代码执行和数学推理等功能。此外，该模型还支持零样本工具使用。
Meta 的负责任使用指南