XiaoMi-AI文件搜索系统
World File Search SystemSNNS
CLIF：用于脉冲神经网络的互补泄漏积分激发神经元
脉冲神经网络 (SNN) 是一种很有前途的受大脑启发的节能模型。与传统的深度人工神经网络 (ANN) 相比，SNN 表现出卓越的效率和处理时间信息的能力。然而，由于其不可微的脉冲机制，训练 SNN 仍然是一个挑战。替代梯度法通常用于训练 SNN，但与 ANN 相比，其准确性往往较差。我们通过对基于泄漏积分和激发 (LIF) 神经元的 SNN 的训练过程进行分析和实验研究，将准确性的下降与时间维度上梯度的消失联系起来。此外，我们提出了互补泄漏积分和激发 (CLIF) 神经元。CLIF 创建了额外的路径来促进计算时间梯度的反向传播，同时保持二进制输出。CLIF 是无超参数的，具有广泛的适用性。在各种数据集上进行的大量实验表明，CLIF 比其他神经元模型具有明显的性能优势。此外，CLIF 的性能甚至略优于具有相同网络结构和训练条件的优秀 ANN。代码可在 https://github.com/HuuYuLong/Complementary-LIF 获得。
![arxiv：2303.10780v2 [CS.NE] 2023年3月21日](/simg/g:\will\search\icon\source\7\7b7d55edfb9b26887e4b3f2a6db1ebacdb429654.webp)
arxiv：2303.10780v2 [CS.NE] 2023年3月21日
尖峰神经网络（SNNS）提供了与传统人工神经网络（ANN）不同的Ma Chine学习的观点：SNNS在一系列离散的时间峰值中编码数据，该数据是以生物学中神经元创建的动作潜力建模的。ANN的原始范围也受到人脑的启发，人脑由近1000亿个神经元组成，每个神经元最多可具有15,000个突触。尽管潜在的巨大参数空间，人类大脑只会消耗约20 w，占3磅以下。进行比较，当今表现最佳的语言模型可能需要超过300 kWh的力量（Patterson等人，2021）。生物神经网络令人印象深刻的能量和空间良好的部分是由于大多数神经元通常是不活跃的，这意味着大脑是高度稀疏的神经网络。SNN试图结合更多生物学上合理的知识，学习方法和体系结构，以匹配
直接训练高性能深度脉冲神经网络：理论与方法综述
脉冲神经网络 (SNN) 具有高度的生物合理性、丰富的时空动态和事件驱动计算，是人工神经网络 (ANN) 的一种有前途的节能替代方案。基于替代梯度法的直接训练算法提供了足够的灵活性来设计新颖的 SNN 架构并探索 SNN 的时空动态。根据以前的研究，模型的性能高度依赖于其大小。最近，直接训练深度 SNN 在神经形态数据集和大规模静态数据集上都取得了巨大进展。值得注意的是，基于变压器的 SNN 表现出与 ANN 同类产品相当的性能。在本文中，我们提供了一个新的视角，以系统而全面的方式总结了训练高性能深度 SNN 的理论和方法，包括理论基础、脉冲神经元模型、高级 SNN 模型和残差架构、软件框架和神经形态硬件、应用和未来趋势。评论的论文收集在 Awesome-Spiking-Neural-Networks 中。
基准的尖峰神经网络学习方法具有不同的位置
摘要 - 提供更现实的神经元动力学的启用神经网络（SNN）已证明在几个机器学习任务中实现了与人工神经网络（ANN）相当的性能。信息在基于事件的机制中以显着降低能源消耗的基于事件的机制而作为SNN中的峰值进行处理。但是，由于尖峰机制的非差异性质，训练SNNS具有挑战性。传统方法，例如通过时间的反向传播（BPTT），已显示出有效性，但具有额外的综合和记忆成本，并且在生物学上是难以置信的。相比之下，最近的作品提出了具有不同程度的地方性的替代学习方法，在分类任务中表现出成功。在这项工作中，我们表明这些方法在培训过程中具有相似性，同时它们在生物学合理性和性能之间进行了权衡。此外，这项研究研究了SNN的隐式复发性质，并研究了向SNN添加显式复发的影响。我们在实验上证明，添加显式复发权重可以增强SNN的鲁棒性。我们还研究了基于梯度和非梯度的对抗性攻击下本地学习方法的性能。索引术语 - 启用神经网络，本地学习，培训方法，集中的内核对齐，Fisher信息。
基于忆阻器的脉冲神经网络 - ePrints Soton
新兴的非易失性存储设备，即忆阻器，在神经形态硬件设计中展现出了非凡的前景，特别是在脉冲神经网络 (SNN) 硬件实现中。基于忆阻器的 SNN 已经应用于解决传统人工神经网络 (ANN) 解决的任务（例如图像分类和模式识别），并且不同学科仍在进行更多尝试以挖掘这一新研究课题的潜力。要将忆阻器应用于神经形态应用（本文中严格定义为使用 SNN 的应用），可以遵循两种途径。一种方法是首先利用硬件基础设施来表征和控制忆阻器设备，然后将其映射到应用程序的更高级函数（例如矩阵乘法）。另一种方法是将数据驱动的忆阻器模型嵌入软件模拟器中，以使用从真实设备中提取的参数来模拟应用程序。
基于数据驱动的神经形态 DRAM 的 CNN 和 RNN 加速器
摘要 — 在硬件加速器上运行大型深度神经网络 (DNN) 所消耗的能量主要来自需要大量快速内存来存储状态和权重。目前，只有通过 DRAM 才能经济地满足这种大型内存需求。尽管 DRAM 是高吞吐量和低成本内存（成本比 SRAM 低 20 倍），但其较长的随机访问延迟不利于脉冲神经网络 (SNN) 中不可预测的访问模式。此外，从 DRAM 访问数据比使用该数据进行算术运算消耗的能量高出几个数量级。如果有本地内存可用且产生的峰值很少，则 SNN 是节能的。本文报告了我们在过去 5 年中在卷积和循环深度神经网络硬件加速器方面的发展，这些加速器利用了与 SNN 类似的空间或时间稀疏性，但即使使用 DRAM 来存储大型 DNN 的权重和状态，也能实现 SOA 吞吐量、功率效率和延迟。
SFOD：脉冲融合物体探测器 - CVF 开放存取
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点，为特殊环境中的物体检测提供了独特的功能。尽管有这些优势，事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发，为这些困难提供了潜在的解决方案。然而，在当前的实现中，它们在使用事件相机进行物体检测方面的性能受到限制。在本文中，我们提出了脉冲融合物体检测器 (SFOD)，一种基于 SNN 的简单有效的物体检测方法。具体而言，我们设计了一个脉冲融合模块，首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外，通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验，我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而，我们建立了基于 SNN 的当前最佳分类结果，在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明，SFOD 实现了 32.1% 的当前最佳 mAP，优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力，而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
Hines, Adam D.、Stratton, Peter G.、Milford, Michael 和 Fischer, Tobias (2024) VPRTempo：一种用于视觉的快速时间编码脉冲神经网络
摘要 — 脉冲神经网络 (SNN) 凭借其潜在的节能、低延迟和持续学习能力，处于神经形态计算的前沿。虽然这些功能非常适合机器人任务，但迄今为止，SNN 在该领域的应用有限。这项工作引入了一种用于视觉位置识别 (VPR) 的 SNN，它既可以在几分钟内训练，又可以在几毫秒内查询，非常适合部署在计算受限的机器人系统上。我们提出的系统 VPRTempo 使用抽象的 SNN 克服了训练和推理时间缓慢的问题，该 SNN 以生物现实性换取效率。VPRTempo 采用时间代码，根据像素的强度确定单个脉冲的时间，而之前的 SNN 则依赖于确定脉冲数量的速率编码；将脉冲效率提高了 100% 以上。 VPRTempo 使用脉冲时间依赖性可塑性和监督增量学习规则进行训练，强制每个输出脉冲神经元只对一个位置做出反应。我们在 Nordland 和 Oxford RobotCar 基准定位数据集上评估了我们的系统，这些数据集包含多达 27,000 个位置。我们发现 VPRTempo 的准确性与之前的 SNN 和流行的 NetVLAD 位置识别算法相当，同时速度快几个数量级，适合实时部署 - CPU 上的推理速度超过 50 Hz。VPRTempo 可以作为在线 SLAM 的环路闭合组件集成到资源受限的系统（例如太空和水下机器人）上。
![arXiv:2308.10187v4 [cs.NE] 2023 年 9 月 22 日](/simg/g:\will\search\icon\source\e\e2470830f54e4215a613245eab08de2c36bcc66a.webp)
arXiv:2308.10187v4 [cs.NE] 2023 年 9 月 22 日
由于具有二进制和事件驱动架构，脉冲神经网络 (SNN) 在节能神经形态芯片方面具有巨大潜力。SNN 主要用于分类任务，但在图像生成任务方面的探索有限。为了填补这一空白，我们提出了一种脉冲扩散模型，该模型基于矢量量化离散扩散模型。首先，我们开发了一个带有 SNN 的矢量量化变分自动编码器 (VQ-SVAE) 来学习图像的离散潜在空间。在 VQ-SVAE 中，使用脉冲发放率和突触后电位对图像特征进行编码，并设计了一个自适应脉冲生成器来以脉冲序列的形式恢复嵌入特征。接下来，我们在离散潜在空间中执行吸收态扩散，并构建一个带有 SNN 的脉冲扩散图像解码器 (SDID) 来对图像进行去噪。我们的工作是第一个完全从 SNN 层构建扩散模型的工作。在 MNIST、FMNIST、KMNIST、Letters 和 Cifar10 上的实验结果表明，Spiking-Diffusion 优于现有的基于 SNN 的生成模型。我们在上述数据集上分别实现了 37.50、91.98、59.23、67.41 和 120.5 的 FID，与最先进的工作相比，FID 减少了 58.60%、18.75%、64.51%、29.75% 和 44.88%。我们的代码将在 https://github.com/Arktis2022/Spiking-Diffusion 上提供。
对多核边缘神经形态系统的映射算法和路由硬件的共选
Last but not least, the project will bridge the gap between hardware and software models by investigating mapping strategies targeting the following design constraints: (a) co-design and co-optimization with the underlying routing mechanism, so that smart mappings can allow more lightweight multicast hardware, (b) co-optimizing the SNN partitioning step with the placement one for efficient mapping of large scale SNNs to highly-parallel神经形态硬件。