XiaoMi-AI文件搜索系统
World File Search System霍普菲
单纯霍普菲尔德网络
Hopfield 网络是一种人工神经网络，它通过选择循环连接权重和更新规则将记忆模式存储在神经元的状态中，使得网络的能量景观在记忆周围形成吸引子。我们可以在这种使用 N 个神经元的网络中存储多少个稳定、足够吸引人的记忆模式？答案取决于权重和更新规则的选择。受生物学中集合连通性的启发，我们通过添加集合连接并将这些连接嵌入到单纯复形中来扩展 Hopfield 网络。单纯复形是图的高维类似物，它自然地表示成对和成组关系的集合。我们表明，我们的单纯 Hopfield 网络增加了记忆存储容量。令人惊讶的是，即使连接仅限于与全成对网络大小相同的小随机子集，我们的网络仍然优于成对网络。这样的场景包括非平凡的单纯拓扑。我们还测试了类似的现代连续 Hopfield 网络，为改进 Transformer 模型中的注意力机制提供了一条潜在的有希望的途径。