Loading...
机构名称:
¥ 1.0

反向传播是培训神经网络的基础算法,也是深度学习成功的关键驱动力。然而,由于现有文献所强调的,由于三个方面的限制,其生物学上的合理性受到了挑战:体重对称性,对全球误差信号的依赖和训练的双相性质。尽管已经提出了各种替代学习方法来解决这些问题,但大多数要么无法满足同时发生的所有三个标准,要么无法降低结果。受到金字塔神经元动力学和可塑性的启发,我们提出了树突局部学习(DLL),这是一种旨在克服这些挑战的新型学习算法。广泛的经验实验表明,DLL满足生物合理性的所有三个标准,同时在满足这些要求的算法中实现最先进的性能。此外,DLL在包括MLP,CNN和RNN在内的一系列架构中表现出强烈的概括。这些结果是针对现有的生物学上合理学习算法的基准,为未来的研究提供了有价值的经验见解。我们希望这项研究能够激发用于培训多层网络的新生物学合理算法的发展,并在神经科学和机器学习方面发展进步。

树突状局部学习:迈向生物学上合理的算法

树突状局部学习:迈向生物学上合理的算法PDF文件第1页

树突状局部学习:迈向生物学上合理的算法PDF文件第2页

树突状局部学习:迈向生物学上合理的算法PDF文件第3页

树突状局部学习:迈向生物学上合理的算法PDF文件第4页

树突状局部学习:迈向生物学上合理的算法PDF文件第5页

相关文件推荐