五十多年来,冯·诺依曼体系结构的灵活性(其中来自离散内存单元的数据作为操作和操作数到达专用计算单元)推动了系统性能的指数级提升。这些计算系统需要在执行计算任务期间高速来回传送大量数据。但是,随着设备缩放因功率和电压考虑而放缓,在内存和计算单元之间所谓的“冯·诺依曼瓶颈”上传输数据所花费的时间和能量已成为问题。这些性能瓶颈和明显的面积/功率效率低下对于以数据为中心的应用尤其不可避免,例如实时图像识别和自然语言处理,其中最先进的冯·诺依曼系统努力匹配普通人的表现。我们正处于人工智能 (AI) 和认知计算革命的风口浪尖,算法的进步使得深度神经网络 (DNN) 在模式识别、游戏、机器翻译等许多任务上接近甚至超越人类的表现。
本期特刊将重点介绍集成光子神经形态系统的最新进展,讨论当前和未来的挑战,并概述应对这些挑战所需的科学和技术进步。我们欢迎各种有关神经形态光子学的有意义且有价值的手稿,包括与用于实现计算、神经传感和替代神经形态范式的材料、设备和硬件架构相关的手稿。涉及新兴非常规技术作为神经形态技术候选解决方案的投稿也将受到考虑。主题包括但不限于:- 神经形态工程 - 光子学 - 人工智能 - 脑启发计算 - 突触可塑性 - 光学神经网络
神经形态计算具有多种特性,使其成为后摩尔计算中极具吸引力的计算范式。这些特性包括内在并行性、固有可扩展性、共置处理和内存以及事件驱动计算。虽然这些特性为神经形态系统带来了能源效率,但它们也带来了一系列挑战。神经形态计算的最大挑战之一是建立神经形态算法计算复杂性的理论基础。在本文中,我们迈出了定义神经形态算法的空间和时间复杂性的第一步。具体来说,我们描述了一种神经形态计算模型,并陈述了控制神经形态算法计算复杂性的假设。接下来,我们提出了一个理论框架来定义神经形态算法的计算复杂性。我们根据我们的神经形态计算模型,明确定义了神经形态算法中的空间和时间复杂性。最后,我们利用我们的方法并定义了六种神经形态算法的计算复杂性:常量函数、后继函数、前驱函数、投影函数、神经形态排序算法和邻域子图提取算法。
摘要 - 非形态硬件努力模仿大脑样神经网络,因此有望在时间数据流上进行可扩展的低功率信息处理。然而,要解决现实世界中的问题,需要培训这些网络。然而,对神经形态底物的培训会由于特征的特征和基于梯度的学习算法所需的非本地计算而产生显着的挑战。本文为神经形态底物设计实用的在线学习算法设计了数学框架。特别是,我们显示了实时复发学习(RTRL)之间的直接联系,这是一种用于计算常规复发神经网络(RNN)(RNN)的在线算法,以及用于培训跨度尖峰神经网络(SNNS)的生物学上可行的学习规则。此外,我们激励基于障碍物雅各布人的稀疏近似,从而降低了该算法的计算复杂性,减少了非本地信息的要求,并凭经验可以提高学习良好的学习性能,从而提高了其对神经形状子形态的适用性。总而言之,我们的框架弥合了深度学习中突触可塑性与基于梯度的方法之间的差距,并为未来神经形态硬件系统的强大信息处理奠定了基础。
摘要:冯·诺伊曼(Von Neumann)计算机目前未能遵循摩尔定律,受到冯·诺伊曼(Von Neumann)瓶颈的限制。为增强计算性能,正在开发可以模拟人脑功能的神经形态计算系统。人造突触是神经形态结构的必不可少的电子设备,它们具有在相邻的人造神经元之间执行信号处理和存储的能力。近年来,电解质门控晶体管(EGT)被视为模仿突触动态可塑性和神经形态应用的有前途的设备。在各种电子设备中,基于EGT的人工突触提供了良好稳定性,超高线性和重复循环对称性的好处,并且可以从多种材料中构造。他们还在空间上分开“读”和“写”操作。在本文中,我们对神经形态应用的电气门控晶体管领域的最新进展和主要趋势进行了回顾。我们介绍了电动双层的操作机理和基于EGT的艺术突触的结构。然后,我们回顾了基于EGT的人工突触的不同类型的通道和电解质材料。最后,我们回顾了生物学功能中的潜在应用。
摘要 — 在本文中,我们回顾了过去 3 年在神经形态工程领域发表的最新研究,以分析此类系统的共同特征。我们发现没有明确的共识,但每个系统都具有以下一个或多个特征:(1)模拟计算(2)非冯诺依曼架构和低精度数字处理(3)脉冲神经网络 (SNN),其组件与生物学密切相关。我们比较了最近的机器学习加速器芯片,以表明模拟处理和降低位精度的架构确实具有最佳的吞吐量、能量和面积效率。然而,纯数字架构也可以通过采用非冯诺依曼架构来实现相当高的效率。鉴于数字硬件设计的设计自动化工具,它提出了一个问题,即在不久的将来工业设计中采用模拟处理的可能性。接下来,我们讨论了定义标准和选择适当基准对于神经形态系统设计进展的重要性,并提出了此类基准的一些期望特征。最后,我们展示了脑机接口作为一项潜在任务,它满足了这些基准的所有标准。索引术语——神经形态、低功耗、机器学习、脉冲神经网络、忆阻器
摘要 — 随着摩尔定律走向极限,可用于处理应用程序的计算能力的增长速度也同样停滞不前。这意味着机器人、人工智能和高性能空间计算等计算密集型任务需要创新的方法来满足其不断增长的计算需求。解决计算瓶颈的一种创新方法是将计算和内存结合在一起,而不是冯·诺依曼计算模型,在基于事件的异步计算范式中具有更高的并行度。神经形态计算就是这样一种从大脑中汲取灵感的范式。能源和计算效率、异步和基于事件的处理是神经形态计算的显著特征,是计算密集型任务值得探索的领域。在本文中,作者探讨了神经形态计算在机器人领域的可能性和好处,并确定了可能有益于机器人领域的可能研究方向。
提出了一种基于反铁磁/重金属 (AFM/HM) 异质结构的光触发和电控制超快神经形态计算处理器的概念。基于 AFM/HM 的人工神经元由短 THz 范围脉冲激发,从而触发 AFM 中的进动。HM 层中的偏置电流可用于修改进动的共振频率。进动通过逆自旋霍尔效应转换为 HM 层中的电流。因此,提出了一种神经形态处理器模型,该模型由基于 AFM 的兴奋性人工神经元(振荡器)和处理神经元(检测器)组成。我们表明,使用光激发可以在低功耗下显著提高神经形态计算的处理速度。演示了最简单逻辑运算(OR、AND)的实现示例。
英特尔实验室发布 Kapoho Point 开发板和 Lava 框架更新,并赞助新的 INRC 项目 2022 年 9 月 28 日 -- 英特尔实验室正利用其 Loihi 2 第二代研究芯片和去年发布的开源 Lava 软件框架,引领神经拟态计算的发展。作为英特尔将神经拟态技术引入商业应用的目标的一部分,英特尔实验室正在为开发人员提供新工具,以迈出开发过程的下一步,其中包括 Kapoho Point,这是一款 8 芯片 Loihi 2 开发板,可堆叠以处理大规模工作负载并直接连接到低延迟基于事件的视觉传感器。此外,英特尔实验室正在发布开源 Lava 框架的更新,以支持可编程神经元、整数值脉冲、卷积网络和持续学习。从最新的 Lava 版本 (v0.5) 开始,与 Loihi 1 系统上的相同工作负载相比,这些功能使 Kapoho Point 运行深度学习应用程序的速度提高了 12 倍,能耗降低了 15 倍 1 。此外,英特尔还通过英特尔神经形态研究社区 (INRC) 启动了八个英特尔赞助的大学项目。向社区成员交付的下一代神经形态系统 Kapoho Point 是一款基于 Loihi 2 的开发板,是一款紧凑型系统,非常适合用于小型设备和从无人机到卫星和智能汽车等应用。该开发板可以启用具有多达 10 亿个参数的 AI 模型或解决具有多达 800 万个变量的优化问题,同时与最先进的 CPU 求解器相比,速度提高了 10 倍以上,能耗降低了 1,000 倍。通过堆叠多个开发板,Kapoho Point 可以进行扩展以解决更大的问题。