压缩效率

从压缩效率的角度来改善尖峰神经网络的稀疏结构学习

人类大脑利用尖峰进行信息传输，并动态地重组其网络结构，以提高能源效率和认知能力的整个生命周期。从这种基于尖峰的计算中汲取灵感，已开发出尖峰神经网络（SNN）来构建模仿该效率的事件驱动的模型。尽管有这些进步，但在训练和推断期间，深SNN仍遭受过度参数化，与大脑自我组织的能力形成鲜明对比。此外，由于静态修剪比率保持最佳的修剪水平，现有的稀疏SNN受到挑战，导致下降或过度修剪。在本文中，我们为深SNN提出了一种新型的两阶段动态结构学习方法，旨在从头开始进行有效的稀疏训练，同时优化压缩效率。第一阶段使用PQ索引评估了SNN中现有稀疏子网络的可压缩性，这促进了基于数据压缩见解的突触连接的重新线的自适应确定。在第二阶段，这种重新布线的比率严格告知动态突触连接过程，包括修剪和再生。这种方法显着改善了对深SNN中稀疏结构训练的探索，从压缩效率的角度来动态地调整稀疏性。我们的实验表明，这种稀疏的训练方法不仅与当前的深SNNS模型的性能保持一致，而且还显着提高了压缩稀疏SNN的效率。至关重要的是，它保留了使用稀疏模型启动培训的优势，并为将AI授予神经形态硬件的边缘提供了有前途的解决方案。