SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators
大型语言模型（LLM）已改变了自然语言处理，但是由于其运行时的成本很高，因此在广泛部署方面面临着巨大的挑战。在本文中，我们介绍了一种新型的培训后压缩方法，该方法使用伪随机生成器的种子来编码和压缩模型权重。具体而言，对于每个权重，请在推断过程中为被馈入线性反馈移位寄存器（LFSR）的种子，以有效地生成随机矩阵。然后将该矩阵与压缩系数线性结合，以重建重量块……
