现代 Hopfield 网络 (HN) 表现出内容可寻址存储器 (CAM) 的特性,可以存储和检索大量记忆。它们还为人类的联想记忆建模提供了基础。然而,这些网络的实现通常在生物学上是不合理的,因为它们假设突触连接的强度是对称的,并使用依赖于多体突触的功能。已经提出了更具生物学现实性的现代 HN 版本,尽管这些实现通常仍使用软最大值函数。计算单个节点的软最大值需要了解所有其他神经元,因此仍然具有一定程度的生物学不合理性。我们提出了一种现代 HN,它使用可以以更符合生物现实的方式计算的 softmax 版本,因此使我们更接近生物学上合理的记忆模型。我们还表明,我们提出的网络可以使用局部学习规则来学习连接权重,该规则源自能量函数的梯度下降。最后,我们验证了我们提出的生物网络的行为类似于现代 HN,并探索了它的其他一些有趣的特性。
主要关键词