近年来,多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差,MLP 在特征提取方面表现良好并取得了惊人的效果。然而,由于其结构简单,其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能,我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络,在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中,我们将 LIF 神经元的机制合并到 MLP 模型中,以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信,包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块,我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率,据我们所知,这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
本文提出了一种非迭代训练算法,用于在自学习系统中应用节能的 SNN 分类器。该方法使用预处理间脑丘脑中典型的感觉神经元信号的机制。该算法概念基于尖点突变模型和路由训练。该算法保证整个网络中连接权重值的零分散,这在基于可编程逻辑器件的硬件实现的情况下尤为重要。由于非迭代机制受到联想记忆训练方法的启发,该方法可以估计网络容量和所需的硬件资源。训练后的网络表现出对灾难性遗忘现象的抵抗力。该算法的低复杂度使得无需使用耗电的加速器即可进行现场硬件训练。本文将该算法的硬件实现的复杂性与经典的 STDP 和转换程序进行了比较。该算法的基本应用是配备视觉系统并基于经典 FPGA 设备的自主代理。
限制脉冲潜在产量的主要限制因素包括除了社会经济因素以外的脉冲生长区域中普遍存在的生物和非生物应力。在生物胁迫中,与根腐病配合物相结合的镰刀菌可能是最广泛的疾病,除了干根腐烂和锁骨腐烂外,还会造成鹰嘴豆的巨大损失。虽然镰刀菌,无菌性摩西和植物疫病会导致鸽子,黄色马赛克,尾虫叶斑,粉状霉菌和叶片皱纹和叶片造成大量损失,并在Vigna作物(Mungbean和Urdbean)中造成了相当大的损害。在鹰嘴豆和鸽子中的革兰氏荚虫(Helicoverpa Armigera)中,岩豆和鸽子中的革兰氏pod虫,木豆中的豆荚在乌尔德比恩和蒙比e造成严重损害各自的作物的豆荚,粉丝,粉丝,jassids和thrips。bruchids是储存的脉冲晶粒中最严重的害虫,在管理中需要最高优先级。杂草也会大大损失脉冲。最近,线虫已成为许多地区成功种植脉冲的潜在威胁。
将激光二极管连接到驱动器时,将串联电感降至最低将使脉冲的上升时间保持在最低水平,从而实现最短的脉冲。这意味着引线应尽可能短,激光二极管应尽可能靠近驱动器安装。如果无法将激光二极管直接连接到驱动器,则需要使用低电感传输线。传输线电感的典型值约为每英寸 20 nH。这意味着在 10 ns 内切换 40 A 的电流(di/dt 为 40 A/10 ns)将导致 80 V 的瞬态电压。较长的传输线会导致更高的感应瞬态电压,从而导致脉冲上升时间显著增加并限制性能。[2] 很好地概述了电气连接如何影响脉冲性能。
人们对由相对少量相互作用的神经元组成的各种集合和大型神经形态系统进行了研究 [1±6]。在《Physics Uspekhi》中,许多综述介绍了使用非线性物理方法研究大脑和神经集合中的动态过程的相关主题 [7±18]。最近,对工作大脑的认知和功能特性进行建模已经成为神经动力学的前沿 [19±21]。尤其是,人们对这一主题越来越感兴趣,这与创建能够重现自然智能关键特性的人工智能系统有关 [22, 23]。为了解决这类问题,有必要建立新的动态模型,这些模型首先可以重现复杂的层次组织,其次可以重现神经元结构的可塑性,因为它们的组成以及结构之间和结构内的连接会根据信息输入的存在与否而变化。迄今为止,已经开发出两种动态建模方法 [24, 25]。其中一种方法是所谓的自上而下的方法,模型采用大脑活动模式——模拟大脑高级过程的积分变量 [20]。另一种方法自下而上,对于可以重现大脑高级功能的神经结构模型,首先,基于对神经元和结构之间连接的真实描述,建立单个神经元的模型 [25, 26]。显然,这两种方法的生物学相关模型都应该基于实验数据。在神经生理学家对大脑进行的实验研究中,神经元的活动是在受试者休息时或受试者执行某项任务时记录的。基于实验数据的模型可以通过两种方式开发。第一种是数据驱动建模,即重建一个动态系统,该系统产生的时间序列在数量上接近实验记录的时间序列。第二种方式是基于所考虑的行为问题建模,即
在现代植物育种中,基因组选择已成为选择仅部分表型的大型繁殖种群中的优质基因型的黄金标准。许多育种计划通常依赖于单核苷酸多态性(SNP)标记来捕获全基因组的选择候选数据。为此,具有中等至高标记密度的SNP阵列代表了一种强大且具有成本效益的工具,可从大规模繁殖群体中生成可重现,易于处理的高通量基因型数据。但是,SNP阵列容易出现导致等位基因呼叫失败的技术错误。为了克服这个问题,基于失败的SNP调用纯粹是技术性的,通常会估算失败的呼叫。但是,这忽略了失败调用的生物学原因,例如:缺失 - 越来越多的证据表明基因存在 - 缺失和其他类型的基因组结构变体可以在表型表达中发挥作用。由于缺失通常不与其弯曲的SNP不平衡,因此缺少SNP调用的排列可能会掩盖有价值的标记 - 性状关联。在这项研究中,我们使用四个参数和两个机器学习模型分析了为低油菜籽和玉米分析的数据集,并证明基因组预测中的等位基因调用失败对重要的农艺性状具有很高的预测。我们根据种群结构和连锁不平衡提出了两个统计管道,这使可能由生物学原因引起的失败SNP调用过滤。对于所检查的人群和特征,基于这些过滤的失败等位基因调用的预测准确性与基于标准SNP的预测具有竞争力,这是基因组预测方法中缺失数据的潜在价值的基础。SNP与所有失败的等位基因调用或过滤等位基因调用的组合并不能以基于基因组关系估计的冗余性而获得的基于SNP的预测的预测均超过预测。
在这项工作中,我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现,并精确整合发出的运动命令,以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验,并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
精确的脉冲定时和时间编码在昆虫的神经系统和高阶动物的感觉外围中得到广泛应用。然而,传统的人工神经网络 (ANN) 和机器学习算法无法利用这种编码策略,因为它们的信号表示是基于速率的。即使在人工脉冲神经网络 (SNN) 的情况下,确定时间编码优于 ANN 的速率编码策略的应用仍然是一个悬而未决的挑战。神经形态传感处理系统为探索时间编码的潜在优势提供了理想的环境,因为它们能够从相对脉冲定时中有效地提取聚类或分类时空活动模式所需的信息。在这里,我们提出了一个受沙蝎启发的神经形态模型来探索时间编码的好处,并在基于事件的传感处理任务中对其进行验证。该任务包括仅使用八个空间分离的振动传感器的相对脉冲定时来定位目标。我们提出了两种不同的方法,其中 SNN 以无监督的方式学习聚类时空模式,并展示了如何通过分析和多个 SNN 模型的数值模拟来解决该任务。我们认为,所提出的模型对于使用精确脉冲时间进行时空模式分类是最佳的,可以用作评估基于时间编码的事件感知处理模型的标准基准。
事件相机具有高时间分辨率、高动态范围、低功耗和高像素带宽等特点,为特殊环境中的物体检测提供了独特的功能。尽管有这些优势,事件数据固有的稀疏性和异步性对现有的物体检测算法提出了挑战。脉冲神经网络 (SNN) 受到人脑编码和处理信息方式的启发,为这些困难提供了潜在的解决方案。然而,在当前的实现中,它们在使用事件相机进行物体检测方面的性能受到限制。在本文中,我们提出了脉冲融合物体检测器 (SFOD),一种基于 SNN 的简单有效的物体检测方法。具体而言,我们设计了一个脉冲融合模块,首次实现了应用于事件相机的 SNN 中不同尺度特征图的融合。此外,通过整合我们在 NCAR 数据集上对主干网络进行预训练期间进行的分析和实验,我们深入研究了脉冲解码策略和损失函数对模型性能的影响。从而,我们建立了基于 SNN 的当前最佳分类结果,在 NCAR 数据集上实现了 93.7% 的准确率。在 GEN1 检测数据集上的实验结果表明,SFOD 实现了 32.1% 的当前最佳 mAP,优于现有的基于 SNN 的方法。我们的研究不仅强调了 SNN 在事件摄像机物体检测中的潜力,而且推动了 SNN 的发展。代码可在 https://github.com/yimeng-fan/SFOD 获得。