Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
使用反向传播对大型语言模型 (LLM) 进行微调（即使对于 LoRA 等参数子集）可能比推理更消耗内存，并且对于资源受限的移动设备来说通常被认为是不切实际的。零阶优化 (ZO) 等替代方法可以大大减少内存占用，但代价是模型收敛速度显着减慢（比反向传播多 10 倍到 100 倍的步骤）。我们提出了一种在移动设备上实现反向传播 (MeBP) 的内存高效实现，它可以在内存使用和计算之间提供更好的权衡……
Lion Group expanding network from Changi
狮子集团（Lion Group）在新加坡跨越印度尼西亚，马来西亚蜡染航空和泰国狮子航空的运营将增强其在樟宜机场的存在，并加强了连接[…]
