在神经科学中,经典 Hopfield 网络是标准的生物学上可行的长期记忆模型,它依靠赫布可塑性进行存储,依靠吸引子动力学进行回忆。相比之下,机器学习中的记忆增强神经网络通常使用键值机制来存储和读取记忆,只需一步。与传统变体相比,这种增强网络实现了令人印象深刻的记忆壮举,但它们的生物学相关性尚不清楚。我们提出了一种基本的键值记忆实现,它使用生物学上可行的三因子可塑性规则的组合来存储输入。当网络参数进行元学习时,相同的规则就会恢复。我们的网络在自动联想记忆任务上的表现与经典 Hopfield 网络相当,并且可以自然扩展到持续回忆、异联想记忆和序列学习。我们的结果表明,作为生物长期记忆的模型,经典 Hopfield 网络是一种引人注目的替代方案。
Hopfield 网络是一种人工神经网络,它通过选择循环连接权重和更新规则将记忆模式存储在神经元的状态中,使得网络的能量景观在记忆周围形成吸引子。我们可以在这种使用 N 个神经元的网络中存储多少个稳定、足够吸引人的记忆模式?答案取决于权重和更新规则的选择。受生物学中集合连通性的启发,我们通过添加集合连接并将这些连接嵌入到单纯复形中来扩展 Hopfield 网络。单纯复形是图的高维类似物,它自然地表示成对和成组关系的集合。我们表明,我们的单纯 Hopfield 网络增加了记忆存储容量。令人惊讶的是,即使连接仅限于与全成对网络大小相同的小随机子集,我们的网络仍然优于成对网络。这样的场景包括非平凡的单纯拓扑。我们还测试了类似的现代连续 Hopfield 网络,为改进 Transformer 模型中的注意力机制提供了一条潜在的有希望的途径。
2.4-1 神经网络 51 2.4-2 生物和人工神经元 52 2.4-3 神经网络中的吸引子 54 2.4-4 反馈神经网络 54 2.4-5 神经网络的构建 56 3.1-1 B ABB AGE 工具的元素及其关系 66 3.2-1 可电训练模拟神经网络的代表性连接 69 3.2-2 光学神经计算集成电路 71 3.2-3 使用模糊逻辑的 ASIC 核心的基本实现 73 3.3-1 推理速度与 CPU 分辨率 76 3.3-2 开发工具框图 80 4.1-1 FTPP 架构 82 4.4-1 转向器软件架构 88 4.4-2 转向建议生成 90 4.4-3 飞行员意图图 93 4.4-4 RPA 演示器概念 95 4.5-1 系统开发活动 99 5.3-1 通用运行时推理引擎 107 5.4-1 系统开发周期 11° 5.5-1 软件开发的基本瀑布模型 117 5.5-2 专家系统开发周期图 119 6.4-1 较差的人类性能生成器 139 6.4-2 改进的人类性能生成器 140
神经群体活动的动态约束 Emily R. Oby* 1,2 、Alan D. Degenhart* 2,3 、Erinn M. Grigsby* 1,2,4,5 、Asma Motiwala 2,3 、Nicole T. McClain 1,2 、Patrick J. Marino 1,2 、Byron M. Yu** 2,3,6 、Aaron P. Batista** 1,2 1 匹兹堡大学生物工程系;美国匹兹堡 2 认知神经基础中心;美国匹兹堡 3 卡内基梅隆大学电气与计算机工程系;美国匹兹堡 4 匹兹堡大学物理医学与康复系;美国匹兹堡 5 匹兹堡大学康复与神经工程实验室;美国匹兹堡 6 卡内基梅隆大学生物医学工程系;美国匹兹堡 * 表示共同第一作者 ** 表示共同资深作者和通讯作者 通信地址:aaron.batista@pitt.edu, byronyu@cmu.edu 摘要 神经活动随时间展开的方式被认为是大脑感觉、运动和认知功能的核心。网络模型长期以来一直认为大脑的计算涉及由底层网络塑造的活动时间进程。从这个观点可以预测,活动时间进程应该很难被违反。我们利用脑机接口 (BCI) 挑战猴子违反我们在运动皮层观察到的自然发生的神经群体活动时间进程。这包括挑战动物以时间逆转的方式穿越神经活动的自然时间进程。当直接受到挑战时,动物无法违反神经活动的自然时间进程。这些结果为以下观点提供了实证支持:在大脑中观察到的活动时间过程确实反映了它们所实现的底层网络级计算机制。 简介神经群体活动的时间演变,也称为神经动力学,被认为是许多大脑功能的基础,包括运动控制 1 、感觉知觉 2-4 、决策 5-8 、时间安排 9,10 和记忆 11,12 等 13 。例如,决策可能是由神经活动汇聚到点或线吸引子 6-8 形成的;记忆可以通过神经活动放松到点吸引子 12,14 来恢复;手臂运动可能涉及表现出旋转动力学的神经活动 1 。网络模型 6-8,10,14-17 和大脑 1,2,6-8,10 产生的时间结构化群体活动之间的相似性为大脑如何通过动力学实现计算提供了诱人的证据 18-22 。在网络模型中,活动的时间演变由网络的连通性 23 决定。也就是说,每个节点在某一时间点的活动由网络的活动决定。
2.4-1 神经网络 51 2.4-2 生物和人工神经元 52 2.4-3 神经网络中的吸引子 54 2.4-4 反馈神经网络 54 2.4-5 神经网络的构建 56 3.1-1 B ABB AGE 工具的元素及其关系 66 3.2-1 可电训练模拟神经网络的代表性连接 69 3.2-2 光学神经计算集成电路 71 3.2-3 使用模糊逻辑的 ASIC 核心的基本实现 73 3.3-1 推理速度与 CPU 分辨率 76 3.3-2 开发工具框图 80 4.1-1 FTPP 架构 82 4.4-1 转向器软件架构 88 4.4-2 转向建议生成 90 4.4-3 飞行员意图图 93 4.4-4 RPA 演示器概念 95 4.5-1 系统开发活动 99 5.3-1 通用运行时推理引擎 107 5.4-1 系统开发周期 11° 5.5-1 软件开发的基本瀑布模型 117 5.5-2 专家系统的开发周期图 119 6.4-1 较差的人类性能生成器 139 6.4-2 改进的人类性能生成器 140
意识状态(处于某种状态的状态)似乎既丰富或充满细节,又难以言喻或难以完全描述或回忆,而且具有个人色彩。尤其是,不可言喻的问题是一个长期存在的哲学问题,它在一定程度上导致了解释上的差距:人们认为意识不能简化为潜在的物理过程。在这里,我们从信息理论动态系统的角度来探讨意识的丰富性和不可言喻性。在我们的框架中,意识体验的丰富性对应于意识状态下的信息量,而不可言喻性对应于在不同处理阶段丢失的信息量。我们描述了工作记忆中的吸引子动力学如何导致我们对原始体验的回忆贫乏,语言的离散符号性质如何不足以描述丰富而高维的体验结构,以及两个人的认知功能相似性如何与他们彼此体验的可沟通性提高相关。虽然我们的模型可能无法解决与解释差距有关的所有问题,但它在对意识体验的丰富性和不可言喻性进行完全物理主义解释方面取得了进展:这两个重要方面似乎是导致定性特征如此令人费解的部分原因。
青春期是一个重要的发育时期,在此期间,大脑功能和行为发生了很大的变化。执行功能的几个方面,包括抑制响应,在此期间有所改善。相应地,结构成像研究已证明皮质和皮质下灰质体积的一致降低,死后组织学研究发现,前额叶皮质中兴奋性突触的大幅度降低(40%)。最近的计算建模工作表明,突触密度的变化是任务性能的改善。这些模型还可以预测与吸引子盆地深度相关的神经动力学的变化,其中更深层次的盆地可以构成更好的任务绩效。在这项研究中,我们分析了与任务相关的神经染色体,在跨越早期至晚期的大量纵向持续的受试者(男性和女性)中。我们发现年龄与埃里克森侧翼任务中的行为表现呈正相关。较旧的受试者在特定的认知操作过程中围绕与任务相关的EEG潜力的更深吸引者盆地的特征。因此,与检查兴奋性突触修剪的效果的计算模型一致,老年青少年在任务执行过程中表现出更强的吸引力动力学。
摘要 - 多项式函数一直是多翼混沌系统(MWCSS)的电路实现和工程化的主要限制。为了消除这种瓶颈,我们通过在Sprott C系统中引入正弦函数来构建一个简单的MWC,而无需多项式函数。理论分析和数值模拟表明,MWC不仅可以使用任意数量的黄油量产生多量器的吸引子,而且还可以通过多个ple方式来调整黄油液的数量,包括自我振荡时间,控制参数和初始状态。为了进一步探索所提出的MWC的优势,我们使用可循环可用的电子元素实现了其模拟电路。结果是,与传统的MWCS相比,我们的电路实施大大减少了电子组件的消耗。这使MWCS更适合许多基于混乱的工程应用程序。更重要的是,我们提出了MWC在混沌图像加密中的应用。直方图,相关性,信息能量和钥匙灵敏度表明,简单的图像传感方案具有很高的安全性和可靠的加密性能。最后,我们开发了一个可编程的门阵列测试平台,以实现基于MWCS的图像加密系统。理论分析和实验结果都验证了所提出的MWC的可行性和可用性。
简介。动力学系统理论描述了通过系统的吸引子进行长期复发行为:动态不变的集合。说,系统空间的区域(点,曲线,光滑的歧管或分形)反复访问。这些对象由运动的基本方程及其支持的概率分布(Sinai-Bowen-Ruelle(SRB)测量)隐式确定,这被解释为热力学宏观植物的类似物[1,2]。这是经典统计力学的基础。在此基础上,以下介绍了旨在研究量子系统类似至关重要的状态空间结构的工具。这需要开发一个更基本的“量子系统状态”的概念,这实质上超越了密度矩阵的标准概念;尽管它们可以直接恢复。我们将这些对象称为系统的几何量子状态,并平行于SRB测量,它们是通过纯量子状态空间上的概率分布来指定的。量子力学是在状态| ψ⟩是复杂的希尔伯特空间h的元素。这些是系统的纯状态。为了解决更普遍的情况,人们采用密度矩阵ρ。这些是h中的运算符,它们为正半限定ρ≥0,自动偶会ρ=ρ†,并且归一化的trρ=1。合奏理论[3,4]给出了对密度矩阵为系统概率状态的解释。,因为密度矩阵总是分解为特征值λI和特征向量| λi⟩:
摘要:联想记忆一直是大规模循环新皮质网络执行计算的主要候选对象。实现联想记忆的吸引子网络为许多认知现象提供了机械解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们不适用于自然发生的复杂相关刺激,如图像。我们通过将循环吸引子网络与使用无监督赫布-贝叶斯学习规则学习分布式表示的前馈网络相结合来解决这个问题。由此产生的网络模型结合了许多已知的生物学特性:无监督学习、赫布可塑性、稀疏分布式激活、稀疏连接、柱状和层状皮质结构等。我们评估了前馈和循环网络组件在 MNIST 手写数字数据集上的复杂模式识别任务中的协同效应。我们证明了循环吸引子组件在前馈驱动的内部(隐藏)表示上进行训练时实现了联想记忆。联想记忆还被证明可以从训练数据中提取原型,并使表示对严重失真的输入具有鲁棒性。我们认为,从机器学习的角度来看,所提出的前馈和循环计算集成的几个方面特别有吸引力。