Loading...
机构名称:
¥ 2.0

脉冲神经网络 (SNN) 是一种很有前途的受大脑启发的节能模型。与传统的深度人工神经网络 (ANN) 相比,SNN 表现出卓越的效率和处理时间信息的能力。然而,由于其不可微的脉冲机制,训练 SNN 仍然是一个挑战。替代梯度法通常用于训练 SNN,但与 ANN 相比,其准确性往往较差。我们通过对基于泄漏积分和激发 (LIF) 神经元的 SNN 的训练过程进行分析和实验研究,将准确性的下降与时间维度上梯度的消失联系起来。此外,我们提出了互补泄漏积分和激发 (CLIF) 神经元。CLIF 创建了额外的路径来促进计算时间梯度的反向传播,同时保持二进制输出。CLIF 是无超参数的,具有广泛的适用性。在各种数据集上进行的大量实验表明,CLIF 比其他神经元模型具有明显的性能优势。此外,CLIF 的性能甚至略优于具有相同网络结构和训练条件的优秀 ANN。代码可在 https://github.com/HuuYuLong/Complementary-LIF 获得。

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元PDF文件第1页

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元PDF文件第2页

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元PDF文件第3页

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元PDF文件第4页

CLIF:用于脉冲神经网络的互补泄漏积分激发神经元PDF文件第5页

相关文件推荐