机构名称：
¥ 2.0
计算神经科学依靠梯度下降 (GD) 来训练大脑的人工神经网络 (ANN) 模型。GD 的优势在于它能够有效地学习困难的任务。然而，它产生的 ANN 在现象学上与生物学的拟合度较差，因此它们作为大脑模型的相关性较低。具体来说，它违反了戴尔定律，允许突触从兴奋性变为抑制性，并导致突触权重不服从对数正态分布，这与实验数据相矛盾。在这里，从优化理论的第一原理出发，我们提出了一种替代学习算法，即指数梯度 (EG)，它尊重戴尔定律并产生对数正态权重，而不会失去使用梯度学习的能力。我们还表明，在与生物学相关的设置中，EG 的表现优于 GD，包括从稀疏相关信号中学习和处理突触修剪。总之，我们的结果表明，EG 是一种使用 ANN 建模大脑的卓越学习算法。
利用指数梯度进行类似大脑的学习
主要关键词
相关文件推荐
