人的大脑可以自我组织富有和多样化的稀疏神经途径,以逐步掌握数百项认知任务。但是,大多数现有的深层人工和尖峰神经网络的持续学习算法无法充分自动调节网络中有限的资源,这会导致性能下降,随着任务的增加,能源消耗的增加。在本文中,我们提出了一种脑启发的持续学习算法,并通过自适应重新组织神经途径,该途径采用自组织调节网络来重组单个和有限的神经网络(SOR-SNN),为丰富的稀疏神经途径,以有效地处理增量任务。所提出的模型表明,在各种持续学习任务的性能,能源消耗和记忆能力方面都具有一致的延长性,从类似孩子的简单任务到复杂的任务以及广义CIFAR100和Imagenet数据集。尤其是,SOR-SNN模型擅长学习更复杂的任务以及更多的任务,并能够将过去的知识与当前任务中的信息集成在一起,显示了促进旧任务的向后转移能力。同时,所提出的模型具有不可逆损害的自我修复能力,对于修剪的网络,可以自动分配从保留网络的新途径,以恢复记忆以获取被遗忘的知识。
1山东大规模信息技术研究所,中国2个州主要的服务器和存储技术启动(北京)电子信息行业有限公司,中国北京,中国北京的抽象情感识别来自视觉信息的抽象情感识别是计算机视觉社区的重要研究主题。基于人工神经网络(ANN)的当前普遍解决方案表现出很高的精度,但计算消耗量很大。与ANN相比,尖峰神经网络(SNN)在生物学上更现实,并且在计算上有效。但是,将SNN用于视觉情感识别仍然是一个巨大的挑战,这主要是由于缺乏动态视觉传感器(DVS)的情感数据集和正确设计的SNN框架。在本文中,我们提出了一种生成DVS模拟数据集的方法,利用存在的情感识别数据集包含视频段。同时,采用了SNN框架及其对应ANN,以分别基于模拟DVS数据集和原始帧数据来完成动态视觉情感识别。所提出的SNN框架由一个功能提取模块组成,该模块基于输入的尖峰训练,投票神经元组模块,其中包含两组情绪神经元,以及一个将情感映射模块转换为情感上的尖峰到情感极性标签。结果表明,与ANN相比,提出的SNN可以实现更好的性能,其能耗只是ANN的四分之一。关键字峰值神经网络;动态视觉传感器;情绪识别1。简介
摘要 - 次数不受约束的二进制优化(QUBO)问题成为一种有吸引力且有价值的优化问题,因为它可以轻松地转换为各种其他组合优化问题,例如图形/数字分区,最大值,SAT,SAT,Vertex,Vertex,Vertex,TSP,TSP等。其中一些问题是NP-HARD,并广泛应用于行业和科学研究中。同时,已经发现Qubo与两个新兴的计算范式,神经形态计算和量子计算兼容,具有巨大的潜力,可以加快未来的优化求解器。在本文中,我们提出了一种新型的神经形态计算范式,该计算范式采用多个协作尖峰神经网络来解决QUBO问题。每个SNN进行局部随机梯度下降搜索,并定期分享全球最佳解决方案,以对Optima进行元效力搜索。我们模拟了模型,并将其与无协作的单个SNN求解器和多SNN求解器进行比较。通过对基准问题的测试,提出的方法被证明在寻找QUBO Optima方面更有效。具体来说,它在无协作和单SNN求解器的情况下分别在多SNN求解器上显示X10和X15-20加速。索引术语 - 数字计算,尖峰神经网络作品,组合优化,QUBO
抽象的流体离子基质是成为实现神经形态回路的独特平台,其特征是它依赖于与大脑相同的水性培养基和离子信号载体。借助了离子尖峰电路的最新理论进步以及形成流体回忆录的锥体离子通道的动态电导,我们扩大了离子型电路中提出的神经元尖峰动力学的曲目。通过模型的电路包含带有双极表面电荷的通道,我们提取阶段爆发,混合模式尖峰,补品爆发和阈值可变性,所有这些都带有哺乳动物神经元典型范围内的尖峰电压和频率。由于典型的电导记忆保留时间在通道长度上的强烈依赖性,因此这些特征是可能的,使得时间表从单个尖峰到单个电路中多个尖峰的爆发不等。这些高级形式的神经元状尖峰支持探索水离子化作为神经形态回路的有趣平台。
在这项工作中,我们提出了一种用于人形 iCub 机器人头部姿势估计和场景表示的神经形态架构。脉冲神经网络在英特尔的神经形态研究芯片 Loihi 中完全实现,并精确整合发出的运动命令,以在神经路径整合过程中估计 iCub 的头部姿势。iCub 的神经形态视觉系统用于校正姿势估计中的漂移。机器人前方物体的位置使用片上突触可塑性来记忆。我们使用机器人头部的 2 个自由度 (DoF) 进行实时机器人实验,并展示精确的路径整合、视觉重置和片上物体位置学习。我们讨论了将机器人系统和神经形态硬件与当前技术集成的要求。
摘要:现有的神经形态嗅觉方法主要侧重于基于嗅觉通路的神经生物学结构实现数据转换。虽然转换对于稀疏脉冲气味数据表示至关重要,但基于高级大脑区域生物计算的分类技术(用于处理脉冲数据以识别气味)仍未得到充分探索。本文认为,受大脑启发的脉冲神经网络是下一代机器智能处理气味数据的一种有前途的方法。受大脑信息处理原理的启发,我们在此提出了第一种用于气味数据分类的脉冲神经网络方法和相关的深度机器学习系统。本文表明,与目前最先进的方法相比,所提出的方法具有多种优势。根据使用基准数据集获得的结果,该模型对大量气味实现了高分类准确率,并且具有对新数据进行增量学习的能力。本文探讨了不同的脉冲编码算法,发现最适合该任务的是分步编码函数。大脑启发的气味机器分类研究的进一步方向包括研究更具生物学可行性的气味数据映射、学习和解释算法,以及在一些高度并行且低功耗的神经形态硬件设备上实现这些算法以供实际应用。
摘要:癫痫是神经系统的常见疾病,及时预测癫痫发作并进行干预治疗,可以大大减少患者的意外伤害,保障患者的生命健康。本文提出了一种神经形态脉冲卷积变换器,即Spiking Conformer,用于从头皮长程脑电图(EEG)记录中检测和预测癫痫发作片段。我们报告了使用波士顿儿童医院-麻省理工学院(CHB-MIT)EEG数据集对Spiking Conformer模型的评估结果。通过利用基于脉冲的加法运算,与非脉冲模型相比,Spiking Conformer显着降低了分类计算成本。此外,我们引入了一个近似脉冲神经元层,在不牺牲准确性的情况下进一步将脉冲触发的神经元更新减少近38%。使用原始 EEG 数据作为输入,提出的 Spiking Conformer 在癫痫发作检测任务中实现了 94.9% 的平均灵敏度和 99.3% 的特异性率,在癫痫发作预测任务中实现了 96.8% 的平均灵敏度和 89.5% 的特异性率,并且与非脉冲等效模型相比,所需的操作减少了 10 倍以上。索引术语 —EEG 数据、癫痫发作检测、癫痫发作预测、脉冲神经网络、Transformer。
摘要 - 基于表面肌电图(SEMG)的分析的手动运动的准确建模为开发复杂的假体设备和人机界面的开发提供了令人兴奋的机会,从离散的手势识别转向连续运动跟踪。在这项研究中,我们基于轻量级尖峰神经网络(SNN)和在晶格ICE40-ultraplus FPGA上实施了两种实时SEMG加工的解决方案,特别适用于低功率应用。我们首先评估离散手势识别任务中的性能,考虑到参考Ninapro DB5数据集,并在十二个不同的固定手势的分类中占83.17%的准确性。我们还考虑了连续填充力建模的更具挑战性的问题,在独立的扩展和收缩练习中引用了用于填充跟踪的Hyser数据集。评估表明,高达0.875的相关性与地面真正的力。我们的系统利用了SNN的固有效率,并在活动模式下消散11.31 MW,以进行手势识别分类的44.6 µJ,用于强制建模推理的手势识别分类和1.19 µJ。考虑动态功率消费管理和引入空闲时期,对于这些任务,平均功率下降至1.84兆瓦和3.69兆瓦。
摘要 — 最近的研究表明,将时间分辨的单光子雪崩二极管 (SPAD) 传感器与神经网络直接耦合,可以简化信号处理并减少冗余。然而,之前的尝试仅限于通用神经网络模型,包括长短期记忆 (LSTM),这些模型无法实现针对特定任务的优化。基于对 SPAD 深度感知任务需求的洞察,这项工作引入了一种高度简化的脉冲循环神经网络,专门为此目的而量身定制。该模型具有独特的单输入门架构,仅通过简单的脉冲神经元实现。与经典 LSTM 相比,它的准确度有所提高,参数数量减少了 1.95 倍,能耗降低了至少 8.40 倍,同时性能显著优于其他脉冲神经网络。结果强调了开发专用于当前任务的网络架构的重要性,这可能为完全像素内处理的潜在进步铺平道路。索引词 — 单光子雪崩二极管、直接飞行时间、脉冲神经网络、循环神经网络、机器学习
脉冲神经网络 (SNN) 具有高度的生物合理性、丰富的时空动态和事件驱动计算,是一种有前途的节能人工神经网络 (ANN) 替代方案。基于替代梯度法的直接训练算法提供了足够的灵活性来设计新颖的 SNN 架构并探索 SNN 的时空动态。根据以前的研究,模型的性能高度依赖于其大小。最近,直接训练深度 SNN 在神经形态数据集和大规模静态数据集上都取得了巨大进展。值得注意的是,基于 Transformer 的 SNN 表现出与 ANN 相当的性能。在本文中,我们提供了一个新的视角,系统而全面地总结了训练高性能深度 SNN 的理论和方法,包括理论基础、脉冲神经元模型、高级 SNN 模型和残差架构、软件框架和神经形态硬件、应用和未来趋势。
