机构名称：
¥ 1.0
摘要 本文介绍了利用量子计算进行参数高效微调 (PEFT) 的 Quantum-PEFT。与其他加性 PEFT 方法（例如低秩自适应 (LoRA)）不同，Quantum-PEFT 利用底层的全秩但令人惊讶的参数高效的量子幺正参数化和交替纠缠。使用 Pauli 参数化时，可训练参数的数量仅随环境维度呈对数增长，而不是像基于 LoRA 的 PEFT 方法那样呈线性增长。因此，随着维度的增长，Quantum-PEFT 实现的可训练参数数量比最低秩的 LoRA 少得多，从而提高了参数效率，同时保持了有竞争力的性能。我们将 Quantum-PEFT 应用于语言和视觉中的几个迁移学习基准，显示出参数效率的显著优势。
量子PEFT：超参数高效微调
主要关键词
相关文件推荐
