XiaoMi-AI文件搜索系统
World File Search SystemSpiking
具有机器人实施例的模块化尖峰神经网络中的空间计算
摘要：现代神经科学中的挑战之一是创建一个脑介绍。基于在体外生长的神经网络的这种半小型设备在体外生长时应与环境相互作用。这项工作中的一个关键点是开发一种能够进行联想学习的神经网络体系结构。这项工作提出了一个中尺度模块化尖峰神经网络（SNN）的数学模型，以在脑线芯片环境中研究学习机制。我们表明，除了峰值依赖性可塑性（STDP）外，突触和神经元竞争是成功学习的关键因素。此外，最短的途径规则可以实施负责处理来自环境的有条件刺激的突触竞赛。该解决方案已准备好在神经元文化中进行测试。可以通过对负责无条件反应的SNN模量进行横向抑制来实施神经元竞争。对这种方法的经验测试具有挑战性，需要开发一种具有给定兴奋性和抑制性神经元比的培养物的技术。我们测试了移动机器人中嵌入的模块化SNN，并表明它可以在触摸（无条件）和超声波（条件）传感器之间建立关联。然后，机器人只能依靠超声传感器避免障碍而不会击中障碍。
循环脉冲神经网络的非线性动力学与机器学习
人们对由相对少量相互作用的神经元组成的各种集合和大型神经形态系统进行了研究 [1±6]。在《Physics Uspekhi》中，许多综述介绍了使用非线性物理方法研究大脑和神经集合中的动态过程的相关主题 [7±18]。最近，对工作大脑的认知和功能特性进行建模已经成为神经动力学的前沿 [19±21]。尤其是，人们对这一主题越来越感兴趣，这与创建能够重现自然智能关键特性的人工智能系统有关 [22, 23]。为了解决这类问题，有必要建立新的动态模型，这些模型首先可以重现复杂的层次组织，其次可以重现神经元结构的可塑性，因为它们的组成以及结构之间和结构内的连接会根据信息输入的存在与否而变化。迄今为止，已经开发出两种动态建模方法 [24, 25]。其中一种方法是所谓的自上而下的方法，模型采用大脑活动模式——模拟大脑高级过程的积分变量 [20]。另一种方法自下而上，对于可以重现大脑高级功能的神经结构模型，首先，基于对神经元和结构之间连接的真实描述，建立单个神经元的模型 [25, 26]。显然，这两种方法的生物学相关模型都应该基于实验数据。在神经生理学家对大脑进行的实验研究中，神经元的活动是在受试者休息时或受试者执行某项任务时记录的。基于实验数据的模型可以通过两种方式开发。第一种是数据驱动建模，即重建一个动态系统，该系统产生的时间序列在数量上接近实验记录的时间序列。第二种方式是基于所考虑的行为问题建模，即
基于脉冲神经网络的医疗数据分析综述
近年来，利用机器学习进行生物医学图像和电信号分析的研究较多[1,2]。然而，传统的人工神经网络虽然受到生物神经元的启发，但不具备生物可解释性，且需要大量的计算和能耗，不利于医疗数据的实时快速分析。随着神经网络的发展，第三代神经网络——脉冲神经网络（SNN）应运而生。虽然其准确率相对较低、训练存在困难，但由于SNN的网络结构和训练规则更具生物可解释性，具有能耗更低、速度更快、对时空数据更适用等优势。因此，利用脉冲神经网络进行医疗数据研究具有重要意义。
对人皮质中直接电微刺激的神经元尖峰响应
微刺激可以调节单个神经元的活性影响行为，但是刺激对神经尖峰的影响是复杂的，并且仍然了解不足。这在人大脑中尤其具有挑战性，因为单个神经元的响应特性稀疏和异质。在这里，我们在6位参与者（3位女性）中使用人前颞叶中的微电极阵列来检查单个神经元对通过多个不同不同刺激位点进行微刺激的尖峰反应。我们证明可以使用不同的刺激位点的激发或触发来驱动单个神经元，这表明一种方法可以在单神经元水平上直接控制尖峰活动。尖峰反应在接近刺激部位的神经元中是抑制性的，而兴奋反应在空间上更为分布。一起，我们的数据表明，可以在人皮质中可靠地识别和操纵单个神经元的尖峰反应。
具有神经振荡和尖峰相信息的深尖峰神经网络
深度尖峰神经网络（DSNN）是一个有希望的人为智能的构成模型。它通过层次结构从DNN和SNN中受益，分别提供多个级别的抽象和事件驱动的综合方式，分别提供超低功率的神经形态实现。然而，如何有效地训练DSNN仍然是一个空旷的问题，因为不可差的尖峰函数可以防止直接应用于DSNN的传统后反向传播（BP）学习算法。在这里，受到生物神经网络的发现的启发，我们通过向DSNN引入神经振荡和尖峰信息来解决上述问题。特别是，我们提出了振荡后电势（OS-PSP）和相锁的活动函数，并进一步提出了新的尖峰神经元模型，即共鸣尖峰神经元（RSN）。基于RSN，我们为DSNN提供了峰值级依赖性的后传播（SLDBP）学习算法。实验结果表明，所提出的学习算法解决了由于BP学习算法 - rithm和SNN之间不兼容而引起的问题，并在基于尖峰的学习算法中实现了最先进的表现。这项工作提出了引入以生物学启发的机制的贡献，例如神经振荡和尖峰期信息对DSNNS，并为设计未来的DSNN提供了新的观点。
社论：脉冲神经网络学习、基准测试、编程和执行
脉冲神经网络 (SNN) 是一种受大脑启发的神经网络，它模仿生物大脑，具体来说，模仿大脑的神经代码、神经动力学和电路。由于 SNN 在人类认知的生物现实建模和节能、事件驱动的机器学习硬件开发方面具有巨大潜力，因此引起了人工智能 (AI) 和神经科学界的极大兴趣 (Pei et al., 2019; Roy et al., 2019)。在图像处理、语音识别和机器翻译等广泛的 AI 领域都取得了重大进展。它们在很大程度上受到人工神经网络 (ANN) 在系统学习理论方面的进步、具有各种任务和数据集的明确基准、友好的编程工具[例如 TensorFlow (Abadi 等，2016) 和 Pytorch (Paszke 等，2019) 机器学习工具]和高效的处理平台[例如图形处理单元 (GPU) 和张量处理单元 (TPU) (Jouppi 等，2017)] 的推动。相比之下，SNN 在这些方面仍处于早期阶段。为了进一步发挥 SNN 的优势并吸引更多研究人员为该领域做出贡献，我们提出了神经科学前沿的研究主题，讨论 SNN 的主要挑战和未来前景，重点关注其“学习算法、基准测试、编程和执行”。我们相信，通过算法-硬件协同设计，SNN 将在节能机器学习设备的开发中发挥关键作用。该研究主题汇集了不同学科的研究人员，以展示他们在 SNN 方面的最新工作。我们收到了来自世界各地的 22 份投稿，并接受了 15 篇论文。接受的论文范围涵盖学习算法、模型效率、编程工具和神经形态硬件。
ESL-SNNS：尖峰神经网络的进化结构学习策略
尖峰神经网络（SNN）在推理过程中在功耗和事件驱动的属性方面具有显着优势。为了充分利用低功耗并提高了这些模型的效率，已经探索了修剪方法，以找到稀疏的SNN，而无需在训练后没有冗余连接。但是，参数冗余仍然会阻碍训练过程中SNN的效率。在人脑中，神经网络的重新布线过程是高度动态的，而突触连接在脑部消除过程中保持相对较少。受到此启发，我们在这里提出了一个名为ESL-SNNS的SNN的有效进化结构学习（ESL）框架，以实现从头开始实施稀疏的SNN训练。SNN中突触连接的修剪和再生在学习过程中动态发展，但将结构稀疏保持在一定水平。因此，ESL-SNN可以通过在时间上列出所有可能的参数来搜索最佳的稀疏连接。我们的实验表明，所提出的ESL-SNNS框架能够有效地学习稀疏结构的SNN，同时降低有限的精度。ESL-SNN仅达到0。在DVS-CIFAR10数据集上具有10％连接密度的28％抗性损失。我们的工作提出了一种全新的方法，可以通过生物学上合理的进化机制对SNN进行稀疏训练，从而缩小了稀疏训练和密集培训之间的明确攻击差距。因此，它具有SNN轻量级训练和低功耗和少量记忆使用情况的巨大潜力。
峰值超维网络：与内存启发的框架集成的神经形态模型
最近，从鲁棒性和能量效率方面，受到脑启发的计算模型表现出巨大的潜力，可以超越当今的深度学习解决方案。尤其是，尖峰神经网络（SNN）和高维计算（HDC）在实现了有效和鲁棒的认知学习方面表现出了令人鼓舞的结果。尽管取得了成功，但这两个受大脑启发的模型具有不同的优势。SNN模仿了人脑的物理特性，而HDC则以更抽象和功能水平对大脑进行建模。他们的设计理念展示了激励其组合的互补模式。在记忆的经典心理模型的帮助下，我们提出了SpikeHD，这是第一个从根本上结合尖峰神经网络和超维计算的框架。SpikeHD生成了一个可扩展且强大的认知学习系统，可以更好地模仿大脑功能。SpikeHD通过保留基于原始事件的Spike数据的空间和时间相关性来利用尖峰神经网络提取低级特征。然后，它利用HDC通过将信号映射到高维空间，学习抽象信息并对数据进行分类来通过SNN输出进行操作。我们对一组基准测试问题的广泛评估表明，与SNN架构相比，SpikeHD提供了以下好处：（1）通过利用两阶段信息处理来增强学习能力，（2）使噪声和失败的实质性稳健性和（3）减少网络的大小和需求的参数，从而使学习能力具有重要的功能。
受大脑启发的脉冲神经网络中的终身学习和发展联想记忆
生物系统中的 EAM，更具体地说是大脑中的 EAM，是通过终身学习 (LLL) 创建的，其中相关项目在时间和空间中的结构（例如集群）不断创建和修改。另一方面，LLL 依赖于基于共性和相似性将新项目添加到现有结构中，因此 LLL 和 EAM 是同一过程的双重原则。这种二元性涉及大脑中不同层次的分子和神经功能，例如：神经发生；神经调节；情景重放；元可塑性；多感觉整合。1 大脑中的 LLL 是基于神经网络的人工系统中 LLL 的终极灵感，更具体地说，是基于大脑启发的脉冲神经网络 (SNN) 架构，其中时空联结结构不断形成和修改以形成不断发展的时空联想记忆 (ESTAM)。2–5
Terabrain项目：在标准计算机硬件上模拟数十亿个尖峰神经元
摘要 - 我们描述了一种计算体系结构，能够使用配备有M2处理器的普通Apple MacBook Air模拟数十亿个尖峰神经元的网络，24 GB的芯片统一内存和4TB固态磁盘。我们使用基于事件的传播方法，该方法在每个处理周期中处理系统中M神经元的N尖峰数据包。每个神经元具有C二进制输入连接，其中C可以为128或更多。在传播阶段，我们将激活的N神经元的所有靶标的激活值增加。在第二步中，我们使用激活值的直方图来确定即时的触发阈值，并选择将在下一个数据包中发射的N神经元。我们注意到，这种主动选择过程可能与大脑中的振荡活动有关，这可能具有固定在每个周期上发射的神经元百分比的功能。至关重要的是，绝对没有对体系结构的限制，因为每个神经元都可以直接与其他神经元建立联系，从而使我们可以具有前馈和反复的连接。具有M = 2 32个神经元的，这允许2 64个可能的连接，尽管实际连接性极为稀疏。 即使使用现成的硬件，模拟器也可以连续传播包数据包，每秒数千次连接数十次。 值得注意的是，所有这些都可以使用仅37瓦的能源预算，接近人脑所需的能量。 索引术语 - 启用神经网络，大脑尺度模拟，二进制重量，稀疏网络，GPU加速度，Apple M2芯片，生物成分网络，这允许2 64个可能的连接，尽管实际连接性极为稀疏。即使使用现成的硬件，模拟器也可以连续传播包数据包，每秒数千次连接数十次。值得注意的是，所有这些都可以使用仅37瓦的能源预算，接近人脑所需的能量。索引术语 - 启用神经网络，大脑尺度模拟，二进制重量，稀疏网络，GPU加速度，Apple M2芯片，生物成分网络这项工作表明使用当前的硬件可以进行大脑尺度模拟，但这需要重新思考如何实施模拟。