活神经网络通过生长和自组织过程出现,从单个细胞开始,最终形成大脑,一个有组织、有功能的计算设备。然而,人工神经网络依靠人类设计的手工编程架构来实现其卓越的性能。我们能否开发出无需人工干预就能生长和自组织的人工计算设备?在本文中,我们提出了一种受生物启发的开发算法,该算法可以从单个初始细胞“生长”出一个功能齐全的分层神经网络。该算法组织层间连接以构建视网膜主题池化层。我们的方法受到早期视觉系统所采用的机制的启发,在动物睁开眼睛前几天,该系统将视网膜连接到外侧膝状体 (LGN)。稳健自组织的关键因素是第一层中出现的自发时空活动波和第二层中“学习”第一层中底层活动模式的局部学习规则。该算法可适应各种输入层几何形状,对第一层中的故障单元具有鲁棒性,因此可用于成功增长和自组织不同池大小和形状的池架构。该算法提供了一种通过增长和自组织构建分层神经网络的原始程序。我们还证明了从单个单元增长的网络在 MNIST 上的表现与手工制作的网络一样好。从广义上讲,我们的工作表明,受生物启发的开发算法可以应用于在计算机中自主生长功能性“大脑”。
主要关键词