Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
使用反向传播对大型语言模型 (LLM) 进行微调（即使对于 LoRA 等参数子集）可能比推理更消耗内存，并且对于资源受限的移动设备来说通常被认为是不切实际的。零阶优化 (ZO) 等替代方法可以大大减少内存占用，但代价是模型收敛速度显着减慢（比反向传播多 10 倍到 100 倍的步骤）。我们提出了一种在移动设备上实现反向传播 (MeBP) 的内存高效实现，它可以在内存使用和计算之间提供更好的权衡……
