XiaoMi-AI文件搜索系统
World File Search SystemSNNS
一种受大脑启发的算法，可以以较低的计算成本缓解人工和脉冲神经网络的灾难性遗忘
大脑中的神经调节剂以多种形式的突触可塑性发挥作用，这些可塑性被表示为元可塑性，现有的脉冲神经网络 (SNN) 和非脉冲人工神经网络 (ANN) 很少考虑到这一点。在这里，我们报告了一种有效的受大脑启发的 SNN 和 ANN 计算算法，本文称为神经调节辅助信用分配 (NACA)，它使用期望信号将定义水平的神经调节剂诱导到选择性突触，从而根据神经调节剂水平以非线性方式修改长期突触增强和抑制。NACA 算法在学习空间和时间分类任务时实现了高识别准确率，同时大幅降低了计算成本。值得注意的是，NACA 还被证实可有效学习五种不同复杂程度的类别连续学习任务，并以低计算成本显著缓解灾难性遗忘。映射突触权重变化表明，这些好处可以通过基于期望的整体神经调节所导致的稀疏和有针对性的突触修改来解释。
基于分层脉冲的模型，通过增强特征提取和编码实现高效图像分类
摘要 — 由于其事件驱动的特性，脉冲神经网络 (SNN) 被认为是计算效率高的模型。脉冲神经元编码有用的时间事实并具有高抗噪性。然而，时空复杂性的高质量编码及其对 SNN 的训练优化受到当前问题的限制，本文提出了一种新颖的分层事件驱动视觉设备，以探索信息如何通过生物可控机制在视网膜中传输和表示。该认知模型是一个增强脉冲的框架，包括 CNN 的功能学习能力和 SNN 的认知能力。此外，该视觉设备以生物现实主义的方式建模，具有无监督学习规则和高级脉冲发放率编码方法。我们在一些图像数据集（MNIST、CIFAR10 及其嘈杂版本）上对它们进行训练和测试，以表明我们的模型可以处理比现有认知模型更有价值的数据。本文还提出了一种新颖的量化方法，使所提出的基于脉冲的模型更适合神经形态硬件实现。结果表明，这种联合 CNN-SNN 模型可以获得更高的聚焦精度并获得更有效的泛化能力。
迈向大规模脉冲神经网络
摘要 —深度学习彻底改变了人工智能 (AI)，在计算机视觉、语音识别和自然语言处理等领域取得了显著进步。此外，大型语言模型 (LLM) 的最新成功推动了对大规模神经网络的研究热潮。然而，对计算资源和能源消耗的不断增长的需求促使人们寻找节能的替代方案。受人脑的启发，脉冲神经网络 (SNN) 有望通过事件驱动的脉冲实现节能计算。为了为构建节能的大型 SNN 模型提供未来方向，我们概述了开发深度脉冲神经网络的现有方法，重点关注新兴的脉冲 Transformer。我们的主要贡献如下：（1）深度脉冲神经网络的学习方法概述，按 ANN 到 SNN 的转换和使用代理梯度的直接训练分类；（2）深度脉冲神经网络的网络架构概述，按深度卷积神经网络 (DCNN) 和 Transformer 架构分类； （3）对最先进的深度 SNN 进行全面比较，重点关注新兴的 Spiking Transformers。然后，我们进一步讨论并概述了大规模 SNN 的未来发展方向。
通过浅神经网络级联的模拟RF电路尺寸
摘要 - 提出了用于模拟电路组件自动尺寸的深神经网络体系结构，重点是2至5 GHz区域的射频（RF）应用。它解决了通常少数网络培训示例的挑战和多种解决方案的存在，其中该型解决方案是集成电路实现的不切实际值。，由于一系列专用的浅神经网络（SNN），我们通过一次将学习限制到一个组件大小来解决这些问题，在该级联限制了下一个网络的预测。此外，SNN是通过遗传算法单独调整预测顺序和准确性的。在每个步骤中的解决方案空间的缩小允许使用小型训练集，以及SNNS处理组件相互依赖的限制。该方法在三种不同类型的RF微电路上成功验证：低噪声放大器（LNA），电压控制的振荡器（VCO）和混合器，使用180 nm和130 nm CMOS实现。所有预测均在成分和性能水平的真实值的5％之内，所有响应均在4至47分钟后在不到5 s的情况下获得。在常规PC站进行培训。获得的结果表明，所提出的方法快速且适用于任意模拟电路拓扑，而无需为每组新的所需电路性能重新训练开发的神经网络。
TIM：一种用于 Spiking Transformer 的高效时间交互模块
作为第三代神经网络，脉冲神经网络 (SNN) 因其生物学合理性和计算效率而备受关注，尤其是在处理各种数据集方面。受到神经网络架构进步的启发，注意力机制的整合导致了脉冲变压器 (Spiking Transformers) 的发展。这些在增强 SNN 能力方面显示出希望，特别是在静态和神经形态数据集领域。尽管取得了进展，但这些系统仍然存在明显的差距，特别是在脉冲自注意力 (SSA) 机制在利用 SNN 的时间处理潜力方面的有效性方面。为了解决这个问题，我们引入了时间交互模块 (TIM)，这是一种新颖的基于卷积的增强功能，旨在增强 SNN 架构中的时间数据处理能力。 TIM 与现有 SNN 框架的集成无缝且高效，只需要极少的附加参数，同时显著提升了其时间信息处理能力。通过严格的实验，TIM 证明了其在利用时间信息方面的有效性，从而在各种神经形态数据集中实现了最先进的性能。代码可在 https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/TIM 上找到。
在低功率5K-LUT FPGA上使用尖峰神经网络的实时SEMG处理
摘要 - 基于表面肌电图（SEMG）的分析的手动运动的准确建模为开发复杂的假体设备和人机界面的开发提供了令人兴奋的机会，从离散的手势识别转向连续运动跟踪。在这项研究中，我们基于轻量级尖峰神经网络（SNN）和在晶格ICE40-ultraplus FPGA上实施了两种实时SEMG加工的解决方案，特别适用于低功率应用。我们首先评估离散手势识别任务中的性能，考虑到参考Ninapro DB5数据集，并在十二个不同的固定手势的分类中占83.17％的准确性。我们还考虑了连续填充力建模的更具挑战性的问题，在独立的扩展和收缩练习中引用了用于填充跟踪的Hyser数据集。评估表明，高达0.875的相关性与地面真正的力。我们的系统利用了SNN的固有效率，并在活动模式下消散11.31 MW，以进行手势识别分类的44.6 µJ，用于强制建模推理的手势识别分类和1.19 µJ。考虑动态功率消费管理和引入空闲时期，对于这些任务，平均功率下降至1.84兆瓦和3.69兆瓦。
计算模型、架构和学习算法
Error 500 (Server Error)!!1500.That’s an error.There was an error. Please try again later.That’s all we know.
具有神经振荡和尖峰相信息的深尖峰神经网络
深度尖峰神经网络（DSNN）是一个有希望的人为智能的构成模型。它通过层次结构从DNN和SNN中受益，分别提供多个级别的抽象和事件驱动的综合方式，分别提供超低功率的神经形态实现。然而，如何有效地训练DSNN仍然是一个空旷的问题，因为不可差的尖峰函数可以防止直接应用于DSNN的传统后反向传播（BP）学习算法。在这里，受到生物神经网络的发现的启发，我们通过向DSNN引入神经振荡和尖峰信息来解决上述问题。特别是，我们提出了振荡后电势（OS-PSP）和相锁的活动函数，并进一步提出了新的尖峰神经元模型，即共鸣尖峰神经元（RSN）。基于RSN，我们为DSNN提供了峰值级依赖性的后传播（SLDBP）学习算法。实验结果表明，所提出的学习算法解决了由于BP学习算法 - rithm和SNN之间不兼容而引起的问题，并在基于尖峰的学习算法中实现了最先进的表现。这项工作提出了引入以生物学启发的机制的贡献，例如神经振荡和尖峰期信息对DSNNS，并为设计未来的DSNN提供了新的观点。
基于精确脉冲时间的触摸定位事件计算
精确的脉冲定时和时间编码在昆虫的神经系统和高阶动物的感觉外围中得到广泛应用。然而，传统的人工神经网络 (ANN) 和机器学习算法无法利用这种编码策略，因为它们的信号表示是基于速率的。即使在人工脉冲神经网络 (SNN) 的情况下，确定时间编码优于 ANN 的速率编码策略的应用仍然是一个悬而未决的挑战。神经形态传感处理系统为探索时间编码的潜在优势提供了理想的环境，因为它们能够从相对脉冲定时中有效地提取聚类或分类时空活动模式所需的信息。在这里，我们提出了一个受沙蝎启发的神经形态模型来探索时间编码的好处，并在基于事件的传感处理任务中对其进行验证。该任务包括仅使用八个空间分离的振动传感器的相对脉冲定时来定位目标。我们提出了两种不同的方法，其中 SNN 以无监督的方式学习聚类时空模式，并展示了如何通过分析和多个 SNN 模型的数值模拟来解决该任务。我们认为，所提出的模型对于使用精确脉冲时间进行时空模式分类是最佳的，可以用作评估基于时间编码的事件感知处理模型的标准基准。