XiaoMi-AI文件搜索系统
World File Search SystemSpiking
尖峰神经网络的脑启发的神经电路演变
在生物神经系统中，不同的神经元能够自组织形成不同的神经回路，以实现多种认知功能。但是，尖峰神经网络的当前设计范式基于深度学习的结构。这种结构以前馈连接为主，而无需考虑不同类型的神经元，这显着阻止了尖峰神经网络在复杂的任务上意识到它们的潜力。将生物神经回路的丰富动力学特性用于对当前尖峰神经网络的结构进行建模。本文通过将饲喂和反馈连接与兴奋性和抑制性神经元相结合，提供了更具生物学上合理的进化空间。我们利用神经元的局部尖峰行为来适应发展神经回路，例如正向激发，正向抑制，反馈抑制和局部局部抑制峰值依赖性依赖性可塑性，并与全球误差信号结合使用突触量。通过使用进化的神经回路，我们构建了尖峰神经网络，用于图像分类和增强学习任务。使用具有丰富的神经回路类型的脑启发的神经电路演化策略（NEUEVO），进化的尖峰神经网络极大地增强了感知和强化学习任务的能力。Neuevo在CIFAR10，DVS-CIFAR10，DVS-GETURE和N-CALTECH101数据集上实现了最新的性能，并在ImageNet上实现了高级性能。与人工神经网络一起实现可相当的性能，结合了上政策和非政策深度加固学习算法。TheevolvedSpikingNeuralCircuitSlayThayThayThayThaythayTheFoundationForneFoundationFortheeFoundationFortheeFoundationFortheeFoldutionforpsects and voldicts具有功能。
通过流算法的镜头尖峰神经网络
峰值神经网络中先前的算法工作与流算法有许多相似之处。但是，这两个空间有限模型之间的连接尚未正式解决。我们采取了第一个步骤来理解这种联系。在上边界，我们根据已知的流媒体算法设计神经算法，用于基本任务，包括不同的元素，近似中位数和重型击球手。我们溶液中神经元的数量几乎与相应的流算法的空间界限匹配。作为一种一般算法原始的原始算法，我们展示了如何在尖峰神经网络中实现有效的线性素描的重要流技术。在下边界，我们给出了通用的还原，表明可以通过空间良好的流媒体算法模拟任何有效的尖峰神经网络。这种还原使我们能够将流空间的下限转换为几乎匹配的神经空间下限，从而在两个模型之间建立了密切的连接。
用于脑机接口手势识别的卷积脉冲网络
摘要 — 脑机接口正被广泛用于各种治疗应用。通常，这涉及通过皮层脑电图 (ECoG) 或脑电图 (EEG) 等技术测量和分析连续时间脑电活动以驱动外部设备。然而，由于测量中固有的噪声和可变性，这些信号的分析具有挑战性，需要离线处理和大量计算资源。在本文中，我们提出了一种简单而有效的基于机器学习的方法，用于基于脑信号的手势分类示例问题。我们使用一种混合机器学习方法，该方法使用卷积脉冲神经网络，采用生物启发的事件驱动突触可塑性规则对脉冲域中编码的测量模拟信号进行无监督特征学习。我们证明这种方法可以推广到具有 EEG 和 ECoG 数据的不同受试者，并且在识别不同手势类别和运动想象任务方面实现了 92.74-97.07% 范围内的卓越准确率。索引词——脉冲神经网络、脑机接口、事件驱动可塑性、K 均值聚类
TIM：一种用于 Spiking Transformer 的高效时间交互模块
作为第三代神经网络，脉冲神经网络 (SNN) 因其生物学合理性和计算效率而备受关注，尤其是在处理各种数据集方面。受到神经网络架构进步的启发，注意力机制的整合导致了脉冲变压器 (Spiking Transformers) 的发展。这些在增强 SNN 能力方面显示出希望，特别是在静态和神经形态数据集领域。尽管取得了进展，但这些系统仍然存在明显的差距，特别是在脉冲自注意力 (SSA) 机制在利用 SNN 的时间处理潜力方面的有效性方面。为了解决这个问题，我们引入了时间交互模块 (TIM)，这是一种新颖的基于卷积的增强功能，旨在增强 SNN 架构中的时间数据处理能力。 TIM 与现有 SNN 框架的集成无缝且高效，只需要极少的附加参数，同时显著提升了其时间信息处理能力。通过严格的实验，TIM 证明了其在利用时间信息方面的有效性，从而在各种神经形态数据集中实现了最先进的性能。代码可在 https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/TIM 上找到。
当音频denoising遇到尖峰神经网络
摘要 - Audio DeNoisisiques是增强音频质量的重要工具。尖峰神经网络（SNN）为音频转化提供了有希望的机会，因为它们利用了脑启发的体系结构和计算原理来有效地处理并分析音频信号，从而通过提高的准确性和降低了计算机上的高空空间，从而实现了实时Denoo。本文介绍了Spiking-Fullsubnet，这是一种基于SNN的实时音频DeNoising模型。我们提出的模型不适合一种新型的封闭式尖峰神经元模型（GSN），以有效捕获多尺度的时间信息，这对于实现高赋予音频降解至关重要。此外，我们建议将GSN集成在优化的全snet神经架构中，从而实现了全频段和子带频率的有效处理，同时显着降低了计算的额外处理。与体系结构的进步一起，我们结合了一个基于度量歧视的损失函数，该功能有选择地增强所需的性能指标而不会损害他人。经验评估表明，尖峰全鞋的表现出色，将其排名为英特尔神经形态深噪声抑制挑战的轨道1（算法）的赢家。索引术语 - 语言denoising，尖峰神经网络，neu-Romorphic Computing，Audio Signal Processing
CLIF：用于脉冲神经网络的互补泄漏积分激发神经元
脉冲神经网络 (SNN) 是一种很有前途的受大脑启发的节能模型。与传统的深度人工神经网络 (ANN) 相比，SNN 表现出卓越的效率和处理时间信息的能力。然而，由于其不可微的脉冲机制，训练 SNN 仍然是一个挑战。替代梯度法通常用于训练 SNN，但与 ANN 相比，其准确性往往较差。我们通过对基于泄漏积分和激发 (LIF) 神经元的 SNN 的训练过程进行分析和实验研究，将准确性的下降与时间维度上梯度的消失联系起来。此外，我们提出了互补泄漏积分和激发 (CLIF) 神经元。CLIF 创建了额外的路径来促进计算时间梯度的反向传播，同时保持二进制输出。CLIF 是无超参数的，具有广泛的适用性。在各种数据集上进行的大量实验表明，CLIF 比其他神经元模型具有明显的性能优势。此外，CLIF 的性能甚至略优于具有相同网络结构和训练条件的优秀 ANN。代码可在 https://github.com/HuuYuLong/Complementary-LIF 获得。
SFOD：脉冲融合物体探测器 - CVF 开放存取
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点，为特殊环境中的物体检测提供了独特的功能。尽管有这些优势，事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发，为这些困难提供了潜在的解决方案。然而，在当前的实现中，它们在使用事件相机进行物体检测方面的性能受到限制。在本文中，我们提出了脉冲融合物体检测器 (SFOD)，一种基于 SNN 的简单有效的物体检测方法。具体而言，我们设计了一个脉冲融合模块，首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外，通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验，我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而，我们建立了基于 SNN 的当前最佳分类结果，在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明，SFOD 实现了 32.1% 的当前最佳 mAP，优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力，而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
基于反向传播的深度脉冲神经网络学习技术：综述
摘要 — 随着智能系统的采用，人工神经网络 (ANN) 已变得无处不在。传统的 ANN 实现能耗高，限制了它们在嵌入式和移动应用中的使用。脉冲神经网络 (SNN) 通过二进制脉冲随时间分布信息来模拟生物神经网络的动态。神经形态硬件的出现充分利用了 SNN 的特性，例如异步处理和高激活稀疏性。因此，SNN 最近引起了机器学习社区的关注，成为低功耗应用的 ANN 的受大脑启发的替代品。然而，信息的离散表示使得通过基于反向传播的技术训练 SNN 具有挑战性。在这篇综述中，我们回顾了针对深度学习应用（例如图像处理）的深度 SNN 的训练策略。我们从基于从 ANN 到 SNN 的转换的方法开始，并将它们与基于反向传播的技术进行比较。我们提出了一种新的脉冲反向传播算法分类法，将其分为三类，即：空间方法、时空方法和单脉冲方法。此外，我们还分析了提高准确性、延迟和稀疏性的不同策略，例如正则化方法、训练混合和调整特定于 SNN 神经元模型的参数。我们重点介绍了输入编码、网络架构和训练策略对准确性-延迟权衡的影响。最后，鉴于准确、高效的 SNN 解决方案仍面临挑战，我们强调了联合硬件和软件共同开发的重要性。
非常大的脉冲神经网络的推测分布式模拟
脉冲神经网络是一类与生物神经网络非常相似的人工神经网络。它们尤其令人感兴趣，因为它们有可能推动多个领域的研究，既因为它们对神经行为的更深入了解（有益于医学、神经科学和心理学），也因为它们在人工智能方面的潜力。它们一旦在硬件中实现，就能以较低的能耗运行，这使得它们更具吸引力。然而，由于它们的行为会随着时间而演变，当无法实现硬件时，它们的输出不能简单地用一次性函数计算（无论多么复杂），而是需要进行模拟。模拟脉冲神经网络的成本极高，主要是因为它们的规模庞大。由于同步方法保守，许多当前的模拟方法难以在更强大的系统上扩展。可扩展性通常是通过近似实际结果来实现的。在本文中，我们介绍了一种遵循时间扭曲同步协议的建模方法和运行时环境支持，该方法可以实现脉冲神经网络模型的推测性分布式模拟，并提高结果的准确性。我们讨论了允许有效推测性模拟的方法和技术方面，并对大型虚拟化环境进行了实验评估，这表明模拟由数百万个神经元组成的网络是可行的。
基准的尖峰神经网络学习方法具有不同的位置
摘要 - 提供更现实的神经元动力学的启用神经网络（SNN）已证明在几个机器学习任务中实现了与人工神经网络（ANN）相当的性能。信息在基于事件的机制中以显着降低能源消耗的基于事件的机制而作为SNN中的峰值进行处理。但是，由于尖峰机制的非差异性质，训练SNNS具有挑战性。传统方法，例如通过时间的反向传播（BPTT），已显示出有效性，但具有额外的综合和记忆成本，并且在生物学上是难以置信的。相比之下，最近的作品提出了具有不同程度的地方性的替代学习方法，在分类任务中表现出成功。在这项工作中，我们表明这些方法在培训过程中具有相似性，同时它们在生物学合理性和性能之间进行了权衡。此外，这项研究研究了SNN的隐式复发性质，并研究了向SNN添加显式复发的影响。我们在实验上证明，添加显式复发权重可以增强SNN的鲁棒性。我们还研究了基于梯度和非梯度的对抗性攻击下本地学习方法的性能。索引术语 - 启用神经网络，本地学习，培训方法，集中的内核对齐，Fisher信息。