XiaoMi-AI文件搜索系统
World File Search SystemSNN
博士奖学金：利用近似计算增强联邦脉冲神经网络 (SNN) 以实现可穿戴健康监测
脉冲神经网络 (SNN) 的固有效率使其成为可穿戴健康监测的理想选择。SNN 通过事件驱动处理和稀疏激活进行操作，与传统 CNN 相比，功耗更低。这种节能方法与可穿戴设备的限制非常吻合，可确保长时间使用并最大程度地降低对用户体验的影响。另一种降低可穿戴健康监测 SNN 功耗的技术是近似计算。这种方法使资源受限的可穿戴设备能够实现计算效率，从而提高健康监测设备的使用寿命和可用性。
神经发动机：基于硬件的事件驱动模拟...
大脑启发的计算旨在了解大脑的机制，并重现其计算能力，以推动计算机科学领域的各个领域。深度学习是一个成功的例子，可以通过利用简化的人工神经网络（ANN）来大大改善模式识别和分类的领域。为了进一步利用大脑的计算能力，因此取得了更大的进步，各种研究都取决于尖峰神经网络（SNN），这些神经网络（SNN）紧密地模仿了大脑的计算[2，10，12，14]。snns通过采用神经元模型来实现大脑样的计算，这些神经元模型在传入的尖峰和时间方面改变了内部状态。特别是，各种研究表明了神经元模型的丰富时间动力学，其内部状态逐渐变化为显着的计算性状[8，11]。因此，新兴研究积极投资基于此类复杂模型的SNN的潜在收益。例如，史密斯（Smith）的研究提出了一种基于复杂神经元模型的新组合范式[12，13]。同时，Ponulak等。重现大脑的导航功能[9]，其他作品采用SNN进行特征推断[16]或满意度问题[4]。为了部署新兴的SNN工作负载，研究人员依赖SNN模拟系统模拟复杂的神经动力学。不幸的是，现有的SNN模拟系统遭受了高计算开销的困扰，因此，设计一个能够快速且能富有能力的SNN模拟的系统，高度要求。
SFOD：脉冲融合物体探测器 - CVF 开放存取
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点，为特殊环境中的物体检测提供了独特的功能。尽管有这些优势，事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发，为这些困难提供了潜在的解决方案。然而，在当前的实现中，它们在使用事件相机进行物体检测方面的性能受到限制。在本文中，我们提出了脉冲融合物体检测器 (SFOD)，一种基于 SNN 的简单有效的物体检测方法。具体而言，我们设计了一个脉冲融合模块，首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外，通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验，我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而，我们建立了基于 SNN 的当前最佳分类结果，在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明，SFOD 实现了 32.1% 的当前最佳 mAP，优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力，而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
Hines, Adam D.、Stratton, Peter G.、Milford, Michael 和 Fischer, Tobias (2024) VPRTempo：一种用于视觉的快速时间编码脉冲神经网络
摘要 — 脉冲神经网络 (SNN) 凭借其潜在的节能、低延迟和持续学习能力，处于神经形态计算的前沿。虽然这些功能非常适合机器人任务，但迄今为止，SNN 在该领域的应用有限。这项工作引入了一种用于视觉位置识别 (VPR) 的 SNN，它既可以在几分钟内训练，又可以在几毫秒内查询，非常适合部署在计算受限的机器人系统上。我们提出的系统 VPRTempo 使用抽象的 SNN 克服了训练和推理时间缓慢的问题，该 SNN 以生物现实性换取效率。VPRTempo 采用时间代码，根据像素的强度确定单个脉冲的时间，而之前的 SNN 则依赖于确定脉冲数量的速率编码；将脉冲效率提高了 100% 以上。 VPRTempo 使用脉冲时间依赖性可塑性和监督增量学习规则进行训练，强制每个输出脉冲神经元只对一个位置做出反应。我们在 Nordland 和 Oxford RobotCar 基准定位数据集上评估了我们的系统，这些数据集包含多达 27,000 个位置。我们发现 VPRTempo 的准确性与之前的 SNN 和流行的 NetVLAD 位置识别算法相当，同时速度快几个数量级，适合实时部署 - CPU 上的推理速度超过 50 Hz。VPRTempo 可以作为在线 SLAM 的环路闭合组件集成到资源受限的系统（例如太空和水下机器人）上。
1>用您的手稿ID替换此线（在此处双击以编辑）
1>用您的手稿ID编号（在此处双击以进行编辑）<以脑为工业故障诊断的尖峰神经网络：调查，挑战和机会Huan Wang，Yan-Fu Li，IEEE和Konstantinos Gryllias高级成员和Konstantinos Gryllias的这项工作已提交给IEE EEE，以供IEE EEE。版权可以在不通知的情况下传输，此后不再可以访问此版本。摘要 - 近几十年来，工业故障诊断（IFD）已成为与检测和收集有关工业设备健康状况的重要信息的关键纪律，从而促进了失败类型和严重性的识别。追求精确有效的故障识别引起了极大的关注，最终集中于自动化设备监控以防止安全事故并减少对人工劳动的依赖。人工神经网络（ANN）的出现在增强智能IFD算法方面发挥了作用，尤其是在大数据的背景下。尽管有这些进步，但ANN是一种简化的仿生神经网络模型，表现出固有的局限性，例如资源和数据依赖性以及受限的认知能力。为了解决这些局限性，建立在脑启发的计算原理的第三代尖峰神经网络（SNN）已成为有希望的替代方案。SNN的特征是其生物神经元动力学和尖峰信息编码，在表示时空特征方面具有出色的潜力。因此，开发基于SNN的IFD模型已获得动力，表现出令人鼓舞的性能。尽管如此，该领域缺乏系统的调查来说明当前情况，挑战和未来的方向。因此，本文系统地回顾了基于SNN的模型的理论进展，以回答SNN是什么问题。随后，它审查和分析了现有的基于SNN的IFD模型，以解释为什么需要使用SNN以及如何使用SNN。更重要的是，本文系统地回答了IFD中SNN的挑战，解决方案和机会。索引术语 - 智能诊断，工业健康监测，尖峰神经网络，深度学习。
使用基于神经工程框架的新型机器人控制器，基于神经工程框架的峰值神经网络
摘要：本文研究了新型机器人控制器的尖峰神经网络（SNN），目的是提高轨迹跟踪的准确性。通过结合时间编码机制来模拟人脑的运行，SNN在信息处理方面提供了更大的适应性和效率，与常规神经网络相比，机器人手臂控制中时间信息的代表方面具有显着优势。探索机器人控制中SNN的特定实现，本研究分析了SNN固有的神经元模型和学习机制。基于神经工程框架（NEF）的原理，使用NENGO和MATLAB R2022B设计了一个新型的尖峰PID控制器，并为3多型机器人臂设计和模拟。控制器在以下指定的轨迹方面表现出良好的准确性和效率，显示出最小的偏差，过冲或振荡。使用均方根误差（RMSE）等性能指标的彻底定量评估以及时间加权误差（ITAE）的绝对值的积分，为基于SNN的控制器的效率提供了其他验证。观察到竞争性能，就ITAE指数而言，ITAE指数的ITAE指数和常规PID控制器的模糊控制器超过了模糊控制器，而ITAE指数则超过了6％，而RMSE的性能则超过了30％。这项工作强调了NEF和SNN在开发有效的机器人控制器方面的实用性，为未来的研究奠定了基础，该研究的重点是动态环境和先进的机器人应用中的SNN适应性。
CLIF：用于脉冲神经网络的互补泄漏积分激发神经元
脉冲神经网络 (SNN) 是一种很有前途的受大脑启发的节能模型。与传统的深度人工神经网络 (ANN) 相比，SNN 表现出卓越的效率和处理时间信息的能力。然而，由于其不可微的脉冲机制，训练 SNN 仍然是一个挑战。替代梯度法通常用于训练 SNN，但与 ANN 相比，其准确性往往较差。我们通过对基于泄漏积分和激发 (LIF) 神经元的 SNN 的训练过程进行分析和实验研究，将准确性的下降与时间维度上梯度的消失联系起来。此外，我们提出了互补泄漏积分和激发 (CLIF) 神经元。CLIF 创建了额外的路径来促进计算时间梯度的反向传播，同时保持二进制输出。CLIF 是无超参数的，具有广泛的适用性。在各种数据集上进行的大量实验表明，CLIF 比其他神经元模型具有明显的性能优势。此外，CLIF 的性能甚至略优于具有相同网络结构和训练条件的优秀 ANN。代码可在 https://github.com/HuuYuLong/Complementary-LIF 获得。
从压缩效率的角度来改善尖峰神经网络的稀疏结构学习
人类大脑利用尖峰进行信息传输，并动态地重组其网络结构，以提高能源效率和认知能力的整个生命周期。从这种基于尖峰的计算中汲取灵感，已开发出尖峰神经网络（SNN）来构建模仿该效率的事件驱动的模型。尽管有这些进步，但在训练和推断期间，深SNN仍遭受过度参数化，与大脑自我组织的能力形成鲜明对比。此外，由于静态修剪比率保持最佳的修剪水平，现有的稀疏SNN受到挑战，导致下降或过度修剪。在本文中，我们为深SNN提出了一种新型的两阶段动态结构学习方法，旨在从头开始进行有效的稀疏训练，同时优化压缩效率。第一阶段使用PQ索引评估了SNN中现有稀疏子网络的可压缩性，这促进了基于数据压缩见解的突触连接的重新线的自适应确定。在第二阶段，这种重新布线的比率严格告知动态突触连接过程，包括修剪和再生。这种方法显着改善了对深SNN中稀疏结构训练的探索，从压缩效率的角度来动态地调整稀疏性。我们的实验表明，这种稀疏的训练方法不仅与当前的深SNNS模型的性能保持一致，而且还显着提高了压缩稀疏SNN的效率。至关重要的是，它保留了使用稀疏模型启动培训的优势，并为将AI授予神经形态硬件的边缘提供了有前途的解决方案。
迈向大规模脉冲神经网络
摘要 —深度学习彻底改变了人工智能 (AI)，在计算机视觉、语音识别和自然语言处理等领域取得了显著进步。此外，大型语言模型 (LLM) 的最新成功推动了对大规模神经网络的研究热潮。然而，对计算资源和能源消耗的不断增长的需求促使人们寻找节能的替代方案。受人脑的启发，脉冲神经网络 (SNN) 有望通过事件驱动的脉冲实现节能计算。为了为构建节能的大型 SNN 模型提供未来方向，我们概述了开发深度脉冲神经网络的现有方法，重点关注新兴的脉冲 Transformer。我们的主要贡献如下：（1）深度脉冲神经网络的学习方法概述，按 ANN 到 SNN 的转换和使用代理梯度的直接训练分类；（2）深度脉冲神经网络的网络架构概述，按深度卷积神经网络 (DCNN) 和 Transformer 架构分类； （3）对最先进的深度 SNN 进行全面比较，重点关注新兴的 Spiking Transformers。然后，我们进一步讨论并概述了大规模 SNN 的未来发展方向。