在这项工作中,我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现,并精确整合发出的运动命令,以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验,并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
精确的脉冲定时和时间编码在昆虫的神经系统和高阶动物的感觉外围中得到广泛应用。然而,传统的人工神经网络 (ANN) 和机器学习算法无法利用这种编码策略,因为它们的信号表示是基于速率的。即使在人工脉冲神经网络 (SNN) 的情况下,确定时间编码优于 ANN 的速率编码策略的应用仍然是一个悬而未决的挑战。神经形态传感处理系统为探索时间编码的潜在优势提供了理想的环境,因为它们能够从相对脉冲定时中有效地提取聚类或分类时空活动模式所需的信息。在这里,我们提出了一个受沙蝎启发的神经形态模型来探索时间编码的好处,并在基于事件的传感处理任务中对其进行验证。该任务包括仅使用八个空间分离的振动传感器的相对脉冲定时来定位目标。我们提出了两种不同的方法,其中 SNN 以无监督的方式学习聚类时空模式,并展示了如何通过分析和多个 SNN 模型的数值模拟来解决该任务。我们认为,所提出的模型对于使用精确脉冲时间进行时空模式分类是最佳的,可以用作评估基于时间编码的事件感知处理模型的标准基准。
人们对由相对少量相互作用的神经元组成的各种集合和大型神经形态系统进行了研究 [1±6]。在《Physics Uspekhi》中,许多综述介绍了使用非线性物理方法研究大脑和神经集合中的动态过程的相关主题 [7±18]。最近,对工作大脑的认知和功能特性进行建模已经成为神经动力学的前沿 [19±21]。尤其是,人们对这一主题越来越感兴趣,这与创建能够重现自然智能关键特性的人工智能系统有关 [22, 23]。为了解决这类问题,有必要建立新的动态模型,这些模型首先可以重现复杂的层次组织,其次可以重现神经元结构的可塑性,因为它们的组成以及结构之间和结构内的连接会根据信息输入的存在与否而变化。迄今为止,已经开发出两种动态建模方法 [24, 25]。其中一种方法是所谓的自上而下的方法,模型采用大脑活动模式——模拟大脑高级过程的积分变量 [20]。另一种方法自下而上,对于可以重现大脑高级功能的神经结构模型,首先,基于对神经元和结构之间连接的真实描述,建立单个神经元的模型 [25, 26]。显然,这两种方法的生物学相关模型都应该基于实验数据。在神经生理学家对大脑进行的实验研究中,神经元的活动是在受试者休息时或受试者执行某项任务时记录的。基于实验数据的模型可以通过两种方式开发。第一种是数据驱动建模,即重建一个动态系统,该系统产生的时间序列在数量上接近实验记录的时间序列。第二种方式是基于所考虑的行为问题建模,即
大脑功能依赖于脉冲神经元回路,其中突触在融合传输与记忆存储和处理方面发挥着关键作用。电子技术在模拟神经元和突触方面取得了重要进展,而将大脑和受大脑启发的设备连接起来的脑机接口概念也开始实现。我们报告了大脑和硅脉冲神经元之间的忆阻连接,这些连接模拟了真实突触的传输和可塑性。与金属薄膜氧化钛微电极配对的忆阻器将硅神经元连接到大鼠海马的神经元。忆阻可塑性解释了连接强度的调节,而传输则由通过薄膜氧化物的加权刺激介导,从而产生类似于兴奋性突触后电位的反应。反向大脑到硅的连接是通过微电极-忆阻器对建立的。在此基础上,我们展示了一个三神经元脑硅网络,其中忆阻突触经历由神经元放电率驱动的长期增强或抑制。
本文提出了一种非迭代训练算法,用于在自学习系统中应用节能的 SNN 分类器。该方法使用预处理间脑丘脑中典型的感觉神经元信号的机制。该算法概念基于尖点突变模型和路由训练。该算法保证整个网络中连接权重值的零分散,这在基于可编程逻辑器件的硬件实现的情况下尤为重要。由于非迭代机制受到联想记忆训练方法的启发,该方法可以估计网络容量和所需的硬件资源。训练后的网络表现出对灾难性遗忘现象的抵抗力。该算法的低复杂度使得无需使用耗电的加速器即可进行现场硬件训练。本文将该算法的硬件实现的复杂性与经典的 STDP 和转换程序进行了比较。该算法的基本应用是配备视觉系统并基于经典 FPGA 设备的自主代理。
1 Research Unit, General University Hospital of Albacete, Health Service of Castilla-La Mancha (SESCAM), Albacete, Spain, 2 Molecular Oncology Laboratory, Molecular Medicine Unit, Associated Unit of Biomedicine, University of Castilla-La Mancha-Spanish National Research Council (UCLM- CSIC), Faculty of Medicine, Albacete, 39 cine, University of Castilla-La Mancha, Albacete, Spain, 4 Immunology Unit, Clinical Analysis Department, General University Hospital of Albacete, Albacete, Spain, 5 Microbiology Department, General University Hospital of Albacete, Albacete, Spain, 6 Research Unit, General University Hospital of Albacete, Albacete, National Parastatics of Toledo, Albacete, Spain, 7 Internal Medicine Department, General University Hospital of Albacete, Albacete, Spain, 8 Biomedicine Institute of UCLM (IB-UCLM), Faculty of Medicine, University of Castilla-La Mancha, Albacete, Spain, 9 Faculty of Pharmacy, Associated University of Castile-La Mancha, 10 of Biomedicine UCLM- CSIC, University of Castilla-La Mancha, Ciudad Real, Spain, 11 Neurology Department, General University Hospital of Albacete, SESCAM, Albacete, Spain, 12 Faculty of Medicine, University of Castilla- La Mancha, Albacete, Spain
1 机器人、人工智能与实时系统,慕尼黑工业大学信息学院,德国慕尼黑,2 于利希超级计算中心 (JSC) 神经科学模拟与数据实验室,高级模拟研究所,JARA,于利希研究中心有限公司,德国于利希,3 瑞士国家超级计算中心 (CSCS),苏黎世联邦理工学院,瑞士卢加诺,4 神经计算单元,冲绳科学技术研究生院,日本冲绳,5 机器人与人工智能卓越系,生物机器人研究所,Scuola Superiore Sant'Anna,意大利蓬泰代拉,6 计算机架构与技术系,格拉纳达大学信息与通信技术研究中心,西班牙格拉纳达,7 图像处理研究团队,日本理化学研究所先进光子学中心,和光,8 计算工程应用单元,信息系统与网络安全总部,理化学研究所,日本和光市、9 日本东京电气通信大学信息与工程研究生院、10 德国于利希研究中心、神经科学与医学研究所 (INM-6)、高级模拟研究所 (IAS-6)、JARA BRAIN 研究所 I、11 德国亚琛工业大学计算机科学 3-软件工程、12 日本神户理化学研究所计算科学中心
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点,为特殊环境中的物体检测提供了独特的功能。尽管有这些优势,事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发,为这些困难提供了潜在的解决方案。然而,在当前的实现中,它们在使用事件相机进行物体检测方面的性能受到限制。在本文中,我们提出了脉冲融合物体检测器 (SFOD),一种基于 SNN 的简单有效的物体检测方法。具体而言,我们设计了一个脉冲融合模块,首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外,通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验,我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而,我们建立了基于 SNN 的当前最佳分类结果,在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明,SFOD 实现了 32.1% 的当前最佳 mAP,优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力,而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
近年来,多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差,MLP 在特征提取方面表现良好并取得了惊人的效果。然而,由于其结构简单,其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能,我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络,在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中,我们将 LIF 神经元的机制合并到 MLP 模型中,以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信,包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块,我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率,据我们所知,这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
我们将要记录的信号称为心电图,也称为 ECG 或 EKG,它是对心脏不同部位按受控顺序收缩的协调“电波”的测量。由于心脏由专门的肌肉细胞组成,这些肌肉细胞会激发动作电位来收缩,因此我们可以采用与之前测量骨骼肌收缩大致相同的方式测量这些动作电位。但这些动作电位的持续时间为 200 毫秒,比神经元(1 毫秒)和肌肉(3 毫秒)的动作电位慢得多。此外,神经元和肌肉的脉冲以每秒脉冲数(或 Hz)来衡量,但心脏的脉冲以每分钟心跳数 (BPM) 来衡量。动作电位心肌细胞也使用钠和钾,但钾通道需要更长的时间才能打开,从而导致更长的动作电位。