分片关键词检索结果

亚马逊云科技 _机器学习
2024年11月22日 22:52

使用 QLoRA 加速 Amazon SageMaker 上的 Mixtral MoE 微调

Accelerating Mixtral MoE fine-tuning on Amazon SageMaker with QLoRA

在本文中，我们将演示如何通过使用完全托管的环境和 Amazon SageMaker 训练作业来使用 PyTorch 完全分片数据并行 (FSDP) 和量化低秩自适应 (QLoRA) 对 Mixtral 8x7B 模型进行微调，从而解决模型定制复杂、耗时且通常成本高昂的挑战。