PEFT关键词检索结果

亚马逊云科技 _机器学习
2024年12月24日 15:36

使用 AWS Trainium 在 SageMaker HyperPod 上对 Llama 3 进行 PEFT 微调 ​​

PEFT fine tuning of Llama 3 on SageMaker HyperPod with AWS Trainium

在这篇博文中，我们展示了如何使用 AWS Trainium 上的 PEFT 和 SageMaker HyperPod 对 Meta Llama 3 模型进行高效的监督微调。我们使用 HuggingFace 的 Optimum-Neuron 软件开发工具包 (SDK) 将 LoRA 应用于微调作业，并使用 SageMaker HyperPod 作为主要计算集群在 Trainium 上执行分布式训练。使用 LoRA 监督微调 Meta Llama 3 模型，您可以进一步将微调模型的成本降低高达 50%，并将训练时间缩短 70%。