XiaoMi-AI文件搜索系统
World File Search System联想记忆
相干理论在吸引子量子神经网络中的作用
量子神经网络 (QNN) 源于在经典神经网络 (NN) 的并行处理特性中添加了关联、纠缠和叠加等量子特性，这种方法有望提高神经网络的性能 [1-3]。尝试用量子计算机实现神经计算（深度学习）通常会导致不兼容，因为前者的动态是非线性和耗散的，而后者的动态是线性和幺正的（耗散只能通过测量引入）。尽管如此，最近还是提出了一组显示联想记忆的 QNN 的理想特性 [4]：i）QNN 应产生在某些距离测量方面最接近输入状态的输出状态；ii）QNN 应包含神经计算机制，如训练规则或吸引子动态；iii）QNN 的演化应基于量子效应。吸引子神经网络 (aNN) 是一类特殊的 NN。它们由 n 个相互作用的节点（人工神经元）集合实现，这些节点动态地向系统能量最小的状态之一演化 [5]。这种亚稳态被称为吸引子或模式。吸引子神经网络用于模拟联想记忆，即从一组存储的模式中检索出根据汉明距离最接近噪声输入的状态的能力。显然，吸引子的数量越多，联想记忆就越大，即 aNN 的存储容量就越大。aNN 的一个典型例子是 Hopfield 模型 [6]，它由一层 n 个人工神经元组成，用一组二进制变量 {xi}ni=1,xi∈{±1} 表示，它们根据自旋玻璃哈密顿量成对相互作用。理想情况下，aNN 的量子类似物（我们将其称为 aQNN）应该满足上述要求。因此，经典比特在这里被在完全正向和迹保持 (CPTP) 映射作用下演化的量子比特所取代。aQNN 的存储容量对应于
量子广义 Potts-Hopfield 神经网络的相图
摘要 我们介绍并分析了 q 状态 Potts-Hopfield 神经网络 (NN) 的开放量子泛化，这是一种基于多层经典自旋的联想记忆模型。这个多体系统的动力学以 Lindblad 型马尔可夫主方程的形式表示，该方程允许将概率经典和相干量子过程平等地结合起来。通过采用平均场描述，我们研究了由温度引起的经典涨落和由相干自旋旋转引起的量子涨落如何影响网络检索存储的记忆模式的能力。我们构建了相应的相图，在低温状态下，该相图显示的模式检索类似于经典的 Potts-Hopfield NN。然而，当量子涨落增加时，会出现极限环相，而极限环相没有经典对应相。这表明量子效应可以相对于经典模型从质上改变稳态流形的结构，并可能允许人们编码和检索新类型的模式。
基于丘脑皮质的脉冲神经网络......
本文提出了一种非迭代训练算法，用于在自学习系统中应用节能的 SNN 分类器。该方法使用预处理间脑丘脑中典型的感觉神经元信号的机制。该算法概念基于尖点突变模型和路由训练。该算法保证整个网络中连接权重值的零分散，这在基于可编程逻辑器件的硬件实现的情况下尤为重要。由于非迭代机制受到联想记忆训练方法的启发，该方法可以估计网络容量和所需的硬件资源。训练后的网络表现出对灾难性遗忘现象的抵抗力。该算法的低复杂度使得无需使用耗电的加速器即可进行现场硬件训练。本文将该算法的硬件实现的复杂性与经典的 STDP 和转换程序进行了比较。该算法的基本应用是配备视觉系统并基于经典 FPGA 设备的自主代理。
生物 Softmax：在现代 Hopfield 网络中得到证明
现代 Hopfield 网络 (HN) 表现出内容可寻址存储器 (CAM) 的特性，可以存储和检索大量记忆。它们还为人类的联想记忆建模提供了基础。然而，这些网络的实现通常在生物学上是不合理的，因为它们假设突触连接的强度是对称的，并使用依赖于多体突触的功能。已经提出了更具生物学现实性的现代 HN 版本，尽管这些实现通常仍使用软最大值函数。计算单个节点的软最大值需要了解所有其他神经元，因此仍然具有一定程度的生物学不合理性。我们提出了一种现代 HN，它使用可以以更符合生物现实的方式计算的 softmax 版本，因此使我们更接近生物学上合理的记忆模型。我们还表明，我们提出的网络可以使用局部学习规则来学习连接权重，该规则源自能量函数的梯度下降。最后，我们验证了我们提出的生物网络的行为类似于现代 HN，并探索了它的其他一些有趣的特性。
QiBAM：应用于 DNA 读取比对的量子加速器上的近似子字符串索引搜索
摘要：随着小型量子处理器从实验物理实验室过渡到工业产品，这些处理器有望在几年内扩大规模并变得更加强大，以高效计算各个领域的重要算法。在本文中，我们提出了一种量子算法来解决基因组序列重建数据处理这一具有挑战性的领域。这项研究描述了一种用于子序列比对的量子算法的架构感知实现。提出了一种名为 QiBAM（量子索引双向联想记忆）的新算法，该算法使用基于汉明距离的近似模式匹配。QiBAM 从两个方面扩展了 Grover 的搜索算法，允许：（1）基因组学中读取错误所需的近似匹配，以及（2）在 DNA 序列的量子编码上分布式搜索多个解决方案。这种方法比传统算法的速度提高了二次。提供了该算法的完整实现，并使用 OpenQL 编译器和 QX Simulator 框架进行了验证。我们的实施代表了对全栈量子加速基因组测序管道设计的首次探索。
深度表格学习的现代 Hopfield 模型
在本文中，我们从现代 Hopfield 模型的角度研究表格学习。具体来说，我们使用广义稀疏的现代 Hopfield 模型来学习表格数据表示和预测。在这项工作中，引入了 BiSHop（双向 S 分析 Hop 场模型）作为端到端表格学习的创新框架，解决了深度表格学习中的两个挑战：非旋转不变数据结构和特征稀疏性。受到联想记忆和注意力机制之间新建立的联系的启发，BiSHop 采用了双组分策略。它通过双向学习模块按列和按行顺序处理数据，每个模块都配备广义稀疏 Hopfield 层。这些层通过引入可学习的稀疏性扩展了传统的 Hopfield 模型。从方法论上讲，BiSHop 支持多尺度表示学习，能够有效地捕捉特征内和特征间的交互，并在各种尺度上具有自适应稀疏性。在各种真实世界数据集上进行的经验验证表明，BiSHop 以更少的超参数优化 (HPO) 运行超越了当前最先进的方法的性能，标志着深度表格学习的重大进步。
预测编码：超越反向传播的深度学习的未来？
用于训练深度神经网络的误差反向传播算法是深度学习成功的基础。然而，它需要连续的后向更新和非局部计算，这使得大规模并行化具有挑战性，而且与大脑的学习方式不同。然而，受神经科学启发的学习算法，如利用局部学习的预测编码，有可能克服这些限制，并在未来超越深度学习技术。虽然预测编码起源于理论神经科学，作为皮层信息处理的模型，但最近的研究已将这一想法发展成一种通用算法，能够仅使用局部计算来训练深度神经网络。在这篇综述中，我们回顾了对这个观点做出贡献的作品，并展示了预测编码和反向传播在泛化质量方面的密切联系，以及强调使用预测编码相对于反向传播训练的神经网络的多重优势的作品。具体来说，我们展示了预测编码网络的更大灵活性，与标准深度神经网络不同，它可以同时充当分类器、生成器和联想记忆，并且可以在任意图形拓扑上定义。最后，我们回顾了预测编码网络在机器学习分类任务上的直接基准，以及它与控制理论和机器人应用的密切联系。
具有最佳贝叶斯学习的神经自联想
神经联想记忆是具有快速突触学习的单层感知器，通常存储神经活动模式对之间的离散关联。先前的研究分析了在独立模式成分和异质关联的朴素贝叶斯假设下的最佳网络，其任务是从输入到输出模式学习关联。在这里，我研究了用于自动关联的最优贝叶斯联想网络，其中输入层和输出层相同。特别是，我将性能与近似贝叶斯学习规则的不同变体（如 BCPNN（贝叶斯置信传播神经网络））进行比较，并尝试解释为什么有时次优学习规则比（理论上）最优模型实现更高的存储容量。事实证明，性能可能取决于违反“朴素贝叶斯”假设的输入成分的微妙依赖关系。这包括具有恒定数量的活动单元的模式、通过循环网络重复传播模式的迭代检索以及最可能单元的赢家通吃激活。如果所有学习规则都包含一种新的自适应机制来估计迭代检索步骤 (ANE) 中的噪声，则其性能可以显著提高。具有 ANE 的贝叶斯学习规则再次实现了整体最大存储容量。
ScaleHD：通过自适应缩放实现强大的大脑启发式超维计算
受大脑启发的超维计算 (HDC) 在机器人、生物医学信号分析和自然语言处理等各种认知任务中表现出良好的能力。与深度神经网络相比，HDC 模型具有轻量级模型和一次性/少次学习能力等优势，使其成为传统资源密集型深度学习模型的有前途的替代范式，尤其是在资源有限的边缘设备中。尽管 HDC 越来越受欢迎，但尚未对 HDC 模型的鲁棒性和增强 HDC 鲁棒性的方法进行系统分析和充分研究。HDC 依靠称为超向量 (HV) 的高维数值向量来执行认知任务，HV 中的值对于 HDC 模型的鲁棒性至关重要。我们提出了 ScaleHD，一种自适应缩放方法，可以缩放 HDC 模型的联想记忆中的 HV 值，以增强 HDC 模型的鲁棒性。我们提出了三种不同的ScaleHD模式，包括Global-ScaleHD、Class-ScaleHD和(Class+Clip)-ScaleHD，它们基于不同的自适应缩放策略。结果表明，ScaleHD能够将HDC对内存错误的鲁棒性提高到10,000𝑋。此外，我们利用增强的HDC鲁棒性，通过电压缩放方法节省能源。实验结果表明，ScaleHD可以将HDC内存系统的能耗降低高达72.2%，而准确度损失不到1%。
计算神经科学国际硕士项目
学习成果 完成本模块后，学生将了解： - 计算神经科学的基本概念、理论基础和最常用的模型 - 相关的基本神经生物学知识和相关的理论方法以及这些方法迄今为止得出的结论 - 不同模型的优势和局限性 - 如何适当地选择用于建模神经系统的理论方法 - 如何在考虑神经生物学发现的同时应用这些方法 - 如何批判性地评估获得的结果。 - 如何使模型适应新问题以及开发新的神经系统模型。 内容 本模块提供有关神经系统组成部分及其建模的基本知识，包括有关神经元和神经回路内信息处理的基本神经生物学概念和模型。具体主题包括： - 神经元的电特性（能斯特方程、戈德曼方程、戈德曼-霍奇金-卡兹电流方程、膜方程） - 霍奇金-赫胥黎模型（电压依赖性电导、门控变量、瞬态和持续电导、动作电位产生） - 通道模型（状态图、随机动力学） - 突触模型（化学和电突触） - 单室神经元模型（整合-激发、基于电导） - 树突和轴突模型（电缆理论、拉尔模型、多室模型、动作电位传播） - 突触可塑性和学习模型（释放概率、短期抑制和促进、长期可塑性、赫布规则、基于时间的可塑性规则、监督/无监督和强化学习） - 网络模型（前馈和循环、兴奋-抑制、发放率和随机、联想记忆） -神经元和网络模型的相空间分析（线性稳定性分析、相图、分岔理论模块组件