PEFT关键词检索结果

2024年12月24日 15:36

使用 AWS Trainium 在 SageMaker HyperPod 上对 Llama 3 进行 PEFT 微调 ​​

PEFT fine tuning of Llama 3 on SageMaker HyperPod with AWS Trainium

在这篇博文中，我们展示了如何使用 AWS Trainium 上的 PEFT 和 SageMaker HyperPod 对 Meta Llama 3 模型进行高效的监督微调。我们使用 HuggingFace 的 Optimum-Neuron 软件开发工具包 (SDK) 将 LoRA 应用于微调作业，并使用 SageMaker HyperPod 作为主要计算集群在 Trainium 上执行分布式训练。使用 LoRA 监督微调 Meta Llama 3 模型，您可以进一步将微调模型的成本降低高达 50%，并将训练时间缩短 70%。

查看详细页面

2024年6月14日 00:00

用于将 ASR 个性化为非典型语音的超网络

Hypernetworks for Personalizing ASR to Atypical Speech

*平等贡献者用于个性化自动语音识别 (ASR) 的参数高效微调 (PEFT) 最近显示出将一般人群模型适应非典型语音的前景。然而，这些方法假设对所适应的非典型言语障碍有先验知识——诊断这种障碍需要专业知识，而这些知识并不总是可用的。即使有了这些知识，数据稀缺性和说话者之间/说话者内部的高差异性也进一步限制了传统微调的有效性。为了规避这些挑战，我们首先确定模型的最小集……

查看详细页面