摘要 — 随着智能系统的采用,人工神经网络 (ANN) 已变得无处不在。传统的 ANN 实现能耗高,限制了它们在嵌入式和移动应用中的使用。脉冲神经网络 (SNN) 通过二进制脉冲随时间分布信息来模拟生物神经网络的动态。神经形态硬件的出现充分利用了 SNN 的特性,例如异步处理和高激活稀疏性。因此,SNN 最近引起了机器学习社区的关注,成为低功耗应用的 ANN 的受大脑启发的替代品。然而,信息的离散表示使得通过基于反向传播的技术训练 SNN 具有挑战性。在这篇综述中,我们回顾了针对深度学习应用(例如图像处理)的深度 SNN 的训练策略。我们从基于从 ANN 到 SNN 的转换的方法开始,并将它们与基于反向传播的技术进行比较。我们提出了一种新的脉冲反向传播算法分类法,将其分为三类,即:空间方法、时空方法和单脉冲方法。此外,我们还分析了提高准确性、延迟和稀疏性的不同策略,例如正则化方法、训练混合和调整特定于 SNN 神经元模型的参数。我们重点介绍了输入编码、网络架构和训练策略对准确性-延迟权衡的影响。最后,鉴于准确、高效的 SNN 解决方案仍面临挑战,我们强调了联合硬件和软件共同开发的重要性。
主要关键词