在这项工作中,我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现,并精确整合发出的运动命令,以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验,并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点,为特殊环境中的物体检测提供了独特的功能。尽管有这些优势,事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发,为这些困难提供了潜在的解决方案。然而,在当前的实现中,它们在使用事件相机进行物体检测方面的性能受到限制。在本文中,我们提出了脉冲融合物体检测器 (SFOD),一种基于 SNN 的简单有效的物体检测方法。具体而言,我们设计了一个脉冲融合模块,首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外,通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验,我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而,我们建立了基于 SNN 的当前最佳分类结果,在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明,SFOD 实现了 32.1% 的当前最佳 mAP,优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力,而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。
近年来,多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差,MLP 在特征提取方面表现良好并取得了惊人的效果。然而,由于其结构简单,其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能,我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络,在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中,我们将 LIF 神经元的机制合并到 MLP 模型中,以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信,包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块,我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率,据我们所知,这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
精确的脉冲定时和时间编码在昆虫的神经系统和高阶动物的感觉外围中得到广泛应用。然而,传统的人工神经网络 (ANN) 和机器学习算法无法利用这种编码策略,因为它们的信号表示是基于速率的。即使在人工脉冲神经网络 (SNN) 的情况下,确定时间编码优于 ANN 的速率编码策略的应用仍然是一个悬而未决的挑战。神经形态传感处理系统为探索时间编码的潜在优势提供了理想的环境,因为它们能够从相对脉冲定时中有效地提取聚类或分类时空活动模式所需的信息。在这里,我们提出了一个受沙蝎启发的神经形态模型来探索时间编码的好处,并在基于事件的传感处理任务中对其进行验证。该任务包括仅使用八个空间分离的振动传感器的相对脉冲定时来定位目标。我们提出了两种不同的方法,其中 SNN 以无监督的方式学习聚类时空模式,并展示了如何通过分析和多个 SNN 模型的数值模拟来解决该任务。我们认为,所提出的模型对于使用精确脉冲时间进行时空模式分类是最佳的,可以用作评估基于时间编码的事件感知处理模型的标准基准。
限制脉冲潜在产量的主要限制因素包括除了社会经济因素以外的脉冲生长区域中普遍存在的生物和非生物应力。在生物胁迫中,与根腐病配合物相结合的镰刀菌可能是最广泛的疾病,除了干根腐烂和锁骨腐烂外,还会造成鹰嘴豆的巨大损失。虽然镰刀菌,无菌性摩西和植物疫病会导致鸽子,黄色马赛克,尾虫叶斑,粉状霉菌和叶片皱纹和叶片造成大量损失,并在Vigna作物(Mungbean和Urdbean)中造成了相当大的损害。在鹰嘴豆和鸽子中的革兰氏荚虫(Helicoverpa Armigera)中,岩豆和鸽子中的革兰氏pod虫,木豆中的豆荚在乌尔德比恩和蒙比e造成严重损害各自的作物的豆荚,粉丝,粉丝,jassids和thrips。bruchids是储存的脉冲晶粒中最严重的害虫,在管理中需要最高优先级。杂草也会大大损失脉冲。最近,线虫已成为许多地区成功种植脉冲的潜在威胁。
将激光二极管连接到驱动器时,将串联电感降至最低将使脉冲的上升时间保持在最低水平,从而实现最短的脉冲。这意味着引线应尽可能短,激光二极管应尽可能靠近驱动器安装。如果无法将激光二极管直接连接到驱动器,则需要使用低电感传输线。传输线电感的典型值约为每英寸 20 nH。这意味着在 10 ns 内切换 40 A 的电流(di/dt 为 40 A/10 ns)将导致 80 V 的瞬态电压。较长的传输线会导致更高的感应瞬态电压,从而导致脉冲上升时间显著增加并限制性能。[2] 很好地概述了电气连接如何影响脉冲性能。
人们对由相对少量相互作用的神经元组成的各种集合和大型神经形态系统进行了研究 [1±6]。在《Physics Uspekhi》中,许多综述介绍了使用非线性物理方法研究大脑和神经集合中的动态过程的相关主题 [7±18]。最近,对工作大脑的认知和功能特性进行建模已经成为神经动力学的前沿 [19±21]。尤其是,人们对这一主题越来越感兴趣,这与创建能够重现自然智能关键特性的人工智能系统有关 [22, 23]。为了解决这类问题,有必要建立新的动态模型,这些模型首先可以重现复杂的层次组织,其次可以重现神经元结构的可塑性,因为它们的组成以及结构之间和结构内的连接会根据信息输入的存在与否而变化。迄今为止,已经开发出两种动态建模方法 [24, 25]。其中一种方法是所谓的自上而下的方法,模型采用大脑活动模式——模拟大脑高级过程的积分变量 [20]。另一种方法自下而上,对于可以重现大脑高级功能的神经结构模型,首先,基于对神经元和结构之间连接的真实描述,建立单个神经元的模型 [25, 26]。显然,这两种方法的生物学相关模型都应该基于实验数据。在神经生理学家对大脑进行的实验研究中,神经元的活动是在受试者休息时或受试者执行某项任务时记录的。基于实验数据的模型可以通过两种方式开发。第一种是数据驱动建模,即重建一个动态系统,该系统产生的时间序列在数量上接近实验记录的时间序列。第二种方式是基于所考虑的行为问题建模,即
1 机器人、人工智能与实时系统,慕尼黑工业大学信息学院,德国慕尼黑,2 于利希超级计算中心 (JSC) 神经科学模拟与数据实验室,高级模拟研究所,JARA,于利希研究中心有限公司,德国于利希,3 瑞士国家超级计算中心 (CSCS),苏黎世联邦理工学院,瑞士卢加诺,4 神经计算单元,冲绳科学技术研究生院,日本冲绳,5 机器人与人工智能卓越系,生物机器人研究所,Scuola Superiore Sant'Anna,意大利蓬泰代拉,6 计算机架构与技术系,格拉纳达大学信息与通信技术研究中心,西班牙格拉纳达,7 图像处理研究团队,日本理化学研究所先进光子学中心,和光,8 计算工程应用单元,信息系统与网络安全总部,理化学研究所,日本和光市、9 日本东京电气通信大学信息与工程研究生院、10 德国于利希研究中心、神经科学与医学研究所 (INM-6)、高级模拟研究所 (IAS-6)、JARA BRAIN 研究所 I、11 德国亚琛工业大学计算机科学 3-软件工程、12 日本神户理化学研究所计算科学中心
将激光二极管连接到驱动器时,将串联电感降至最低将使脉冲的上升时间保持在最低水平,从而实现最短的脉冲。这意味着引线应尽可能短,激光二极管应尽可能靠近驱动器安装。如果无法将激光二极管直接连接到驱动器,则需要使用低电感传输线。传输线电感的典型值约为每英寸 20 nH。这意味着在 10 ns 内切换 40 A 的电流(di/dt 为 40 A/10 ns)将导致 80 V 的瞬态电压。较长的传输线会导致更高的感应瞬态电压,从而导致脉冲上升时间显著增加并限制性能。[2] 很好地概述了电气连接如何影响脉冲性能。
