XiaoMi-AI文件搜索系统
World File Search SystemSpiking
SFOD：脉冲融合物体探测器 - CVF 开放存取
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点，为特殊环境中的物体检测提供了独特的功能。尽管有这些优势，事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发，为这些困难提供了潜在的解决方案。然而，在当前的实现中，它们在使用事件相机进行物体检测方面的性能受到限制。在本文中，我们提出了脉冲融合物体检测器 (SFOD)，一种基于 SNN 的简单有效的物体检测方法。具体而言，我们设计了一个脉冲融合模块，首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外，通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验，我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而，我们建立了基于 SNN 的当前最佳分类结果，在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明，SFOD 实现了 32.1% 的当前最佳 mAP，优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力，而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
用于估计 iCub 机器人头部姿势的片上脉冲神经网络
在这项工作中，我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现，并精确整合发出的运动命令，以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验，并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
受大脑启发的具有脉冲神经元的多层感知器
近年来，多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差，MLP 在特征提取方面表现良好并取得了惊人的效果。然而，由于其结构简单，其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能，我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络，在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中，我们将 LIF 神经元的机制合并到 MLP 模型中，以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信，包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块，我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率，据我们所知，这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
在 HPC 基础设施上扩展脉冲神经网络
1 机器人、人工智能与实时系统，慕尼黑工业大学信息学院，德国慕尼黑，2 于利希超级计算中心 (JSC) 神经科学模拟与数据实验室，高级模拟研究所，JARA，于利希研究中心有限公司，德国于利希，3 瑞士国家超级计算中心 (CSCS)，苏黎世联邦理工学院，瑞士卢加诺，4 神经计算单元，冲绳科学技术研究生院，日本冲绳，5 机器人与人工智能卓越系，生物机器人研究所，Scuola Superiore Sant'Anna，意大利蓬泰代拉，6 计算机架构与技术系，格拉纳达大学信息与通信技术研究中心，西班牙格拉纳达，7 图像处理研究团队，日本理化学研究所先进光子学中心，和光，8 计算工程应用单元，信息系统与网络安全总部，理化学研究所，日本和光市、9 日本东京电气通信大学信息与工程研究生院、10 德国于利希研究中心、神经科学与医学研究所 (INM-6)、高级模拟研究所 (IAS-6)、JARA BRAIN 研究所 I、11 德国亚琛工业大学计算机科学 3-软件工程、12 日本神户理化学研究所计算科学中心
用...
摘要 - 传统的人工神经网络从生物网络中汲取灵感，使用神经元的节点层来传递信息进行处理。更现实的模型包括在神经网络中的尖峰，更贴近捕获电气特性。然而，很大一部分脑细胞是神经胶质细胞类型的，特别是星形胶质细胞被认为在执行计算中起作用。在这里，我们介绍了一个修改后的尖峰神经网络模型，并在神经网络中具有添加类似星形胶质细胞的单元，并评估它们对学习的影响。我们将网络作为液态机器实现，并任务网络执行混乱的时间序列预测任务。我们改变了网络中类似神经元和星形胶质细胞样单元的数量和比率，以检查后一种单元对学习的影响。我们表明，与神经和星形细胞网络相反，神经元和星形胶质细胞的结合对于推动学习至关重要。有趣的是，我们发现当类似星形胶质细胞样和神经元的单位之间的比率大约为2：1时，达到了最高的学习率，这反映了生物星形胶质细胞与神经元比率的一些估计值。我们的结果表明，在跨时间范围内代表信息的类似星形胶质细胞样单元可以改变神经网络的学习率，并且应将星形胶质细胞与神经元的比例适当地调整为给定的任务。
从压缩效率的角度来改善尖峰神经网络的稀疏结构学习
人类大脑利用尖峰进行信息传输，并动态地重组其网络结构，以提高能源效率和认知能力的整个生命周期。从这种基于尖峰的计算中汲取灵感，已开发出尖峰神经网络（SNN）来构建模仿该效率的事件驱动的模型。尽管有这些进步，但在训练和推断期间，深SNN仍遭受过度参数化，与大脑自我组织的能力形成鲜明对比。此外，由于静态修剪比率保持最佳的修剪水平，现有的稀疏SNN受到挑战，导致下降或过度修剪。在本文中，我们为深SNN提出了一种新型的两阶段动态结构学习方法，旨在从头开始进行有效的稀疏训练，同时优化压缩效率。第一阶段使用PQ索引评估了SNN中现有稀疏子网络的可压缩性，这促进了基于数据压缩见解的突触连接的重新线的自适应确定。在第二阶段，这种重新布线的比率严格告知动态突触连接过程，包括修剪和再生。这种方法显着改善了对深SNN中稀疏结构训练的探索，从压缩效率的角度来动态地调整稀疏性。我们的实验表明，这种稀疏的训练方法不仅与当前的深SNNS模型的性能保持一致，而且还显着提高了压缩稀疏SNN的效率。至关重要的是，它保留了使用稀疏模型启动培训的优势，并为将AI授予神经形态硬件的边缘提供了有前途的解决方案。
脉冲神经网络的并行集群架构
脉冲神经网络 (SNN) 是神经形态计算的一个分支，目前在神经科学应用中用于理解和建模生物大脑。SNN 还可能用于许多其他应用领域，例如分类、模式识别和自主控制。这项工作提出了一个高度可扩展的硬件平台 POETS，并使用它在大量并行和可重构的 FPGA 处理器上实现 SNN。当前系统由 48 个 FPGA 组成，提供 3072 个处理核心和 49152 个线程。我们使用该硬件实现了多达四百万个神经元和一千个突触。与其他类似平台的比较表明，当前的 POETS 系统比 Brian 模拟器快二十倍，比 SpiNNaker 快至少两倍。
Hines, Adam D.、Stratton, Peter G.、Milford, Michael 和 Fischer, Tobias (2024) VPRTempo：一种用于视觉的快速时间编码脉冲神经网络
摘要 — 脉冲神经网络 (SNN) 凭借其潜在的节能、低延迟和持续学习能力，处于神经形态计算的前沿。虽然这些功能非常适合机器人任务，但迄今为止，SNN 在该领域的应用有限。这项工作引入了一种用于视觉位置识别 (VPR) 的 SNN，它既可以在几分钟内训练，又可以在几毫秒内查询，非常适合部署在计算受限的机器人系统上。我们提出的系统 VPRTempo 使用抽象的 SNN 克服了训练和推理时间缓慢的问题，该 SNN 以生物现实性换取效率。VPRTempo 采用时间代码，根据像素的强度确定单个脉冲的时间，而之前的 SNN 则依赖于确定脉冲数量的速率编码；将脉冲效率提高了 100% 以上。 VPRTempo 使用脉冲时间依赖性可塑性和监督增量学习规则进行训练，强制每个输出脉冲神经元只对一个位置做出反应。我们在 Nordland 和 Oxford RobotCar 基准定位数据集上评估了我们的系统，这些数据集包含多达 27,000 个位置。我们发现 VPRTempo 的准确性与之前的 SNN 和流行的 NetVLAD 位置识别算法相当，同时速度快几个数量级，适合实时部署 - CPU 上的推理速度超过 50 Hz。VPRTempo 可以作为在线 SLAM 的环路闭合组件集成到资源受限的系统（例如太空和水下机器人）上。
使用有机电化学晶体管阵列和脉冲神经模拟进行神经形态信号分类
摘要 — 神经形态计算是一个令人兴奋且发展迅速的领域，旨在创建能够复制人类大脑复杂动态行为的计算系统。有机电化学晶体管 (OECT) 因其独特的生物电子特性而成为开发此类系统的有前途的工具。在本文中，我们提出了一种使用 OECT 阵列进行信号分类的新方法，该方法表现出类似于通过全局介质连接的神经元和突触的多功能生物电子功能。我们的方法利用 OECT 的固有设备可变性来创建具有可变神经元时间常数和突触强度的储存器网络。我们通过将表面肌电图 (sEMG) 信号分为三个手势类别来证明我们方法的有效性。OECT 阵列通过多个门馈送信号并测量对具有全局液体介质的一组 OECT 的响应来执行有效的信号采集。我们比较了在有和没有将输入投射到 OECT 上的情况下我们的方法的性能，并观察到分类准确率显著提高，从 40% 提高到 68%。我们还研究了不同的选择策略和使用的 OECT 数量对分类性能的影响。最后，我们开发了一种基于脉冲神经网络的模拟，该模拟模仿了 OECT 阵列，并发现基于 OECT 的分类与基于脉冲神经网络的方法相当。我们的工作为下一代低功耗、实时和智能生物医学传感系统铺平了道路。