尽管深度学习最近取得了成功,但在解释复杂的高维数据流(如视觉、听觉和体感刺激)方面,哺乳动物的大脑仍然无与伦比。然而,大脑在处理不可靠、高维且通常不完整的数据的同时,功耗只有几瓦的底层计算原理仍然鲜为人知。在这项工作中,我们研究了特定功能如何从哺乳动物皮层中观察到的简单结构中产生,以及如何在非冯·诺依曼设备(如“神经形态硬件”)中利用这些功能。首先,我们表明,一组确定性的脉冲神经网络可以通过简单的局部学习规则来塑造,以执行基于采样的贝叶斯推理。这表明了一种编码方案,其中脉冲(或“动作电位”)表示受感官输入约束的后验分布样本,而无需任何随机性来源。其次,我们引入了一个自上而下的框架,其中使用最小作用原理和基于梯度的最小化来推导神经元和突触动力学。综合起来,神经突触动力学近似于实时误差反向传播,可映射到皮质网络的机械组件,其动力学可再次在所提出的框架内描述。所提出的模型缩小了定义明确的功能算法与其生物物理实现之间的差距,提高了我们对大脑可能采用的计算原理的理解。此外,此类模型可以自然地转化为模仿大脑高度并行的神经结构的硬件,有望实现强大的学习和推理算法的加速和节能,我们为物理模型系统“BrainScaleS-1”展示了这一点。
主要关键词