详细内容或原文请订阅后点击阅览
脉冲神经网络:神经科学与人工智能的交汇点
了解如何使用 LIF 模型制定和训练脉冲神经网络 (SNN),以及如何对数据进行编码以便 SNN 可以对其进行处理
来源:AI夏令营人工神经网络 (ANN) 训练的高能耗和不断增加的计算成本往往令人望而却步。此外,它们很难学习,甚至连简单的时间任务都无法学习,这似乎困扰着研究界。
尽管如此,人们可以观察到自然智能,其能耗极低,具有创造力、解决问题和多任务处理能力。生物系统似乎已经通过自然进化掌握了信息处理和响应。了解是什么让它们如此有效并适应这些发现的需求导致了脉冲神经网络 (SNN) 的出现。
在本文中,我们将介绍 SNN 的理论和 PyTorch 中的简单实现。
信息表示:脉冲
生物神经元细胞的行为不像我们在 ANN 中使用的神经元。但是什么让它们与众不同呢?
不是一个主要的区别是生物神经元可以处理的输入和输出信号。生物神经元的输出不是要传播的浮点数。相反,输出是细胞内离子运动引起的电流。这些电流通过突触向前移动到连接的细胞。当传播的电流到达下一个细胞时,它会增加它们的膜电位,这是这些离子浓度不平衡的结果。
膜电位当神经元的膜电位超过某个阈值时,细胞会发出一个尖峰,即要传递给前向细胞的电流。为此,利用我们对典型 ANN 的理解,我们可以将神经元的输出映射为二进制值,其中 1 表示尖峰在时间上的存在,突触表示连接两个神经元的权重。异步通信和信息处理
综上所述,生物神经元具有内在动态,导致它们随时间而变化。随着时间的推移,它们倾向于放电并降低膜电位。因此,稀疏输入尖峰不会导致神经元激发。
不