基于忆阻器的神经形态计算在高速、高吞吐量信号处理应用(如脑电图 (EEG) 信号处理)中显示出巨大潜力。尽管如此,单晶体管单电阻 (1T1R) 忆阻器阵列的大小受到器件非理想性的限制,这阻碍了大型复杂网络的硬件实现。在本文中,我们提出了深度可分离卷积和双向门循环单元 (DSC-BiGRU) 网络,这是一种基于 1T1R 阵列的轻量级且高度稳健的混合神经网络,通过混合 DSC 和 BiGRU 块,能够在时间、频率和空间域中有效处理 EEG 信号。在确保网络分类准确性的同时,网络规模减小了,网络稳健性提高了。在模拟中,通过统计分析将测得的 1T1R 阵列的非理想性带入网络中。与传统卷积网络相比,在阵列成品率95%、容错率5%的条件下,网络参数减少了95%,网络分类准确率提高了21%。该工作表明,基于忆阻器阵列的轻量级、高鲁棒网络对于依赖低消耗和高效率的应用具有巨大的前景。
摘要 模拟突触功能(例如增强和抑制)对于开发人工神经形态结构具有战略意义。通过在去除开关信号后利用电阻水平的逐渐放松,忆阻器可以定性地再现生物突触的短期可塑性行为。为此,已经提出了各种基于纳米制造的金属氧化物半导体堆栈的忆阻器。在这里,我们介绍了一种不同的制造方法,该方法基于以双层平面配置沉积的簇组装纳米结构氧化锆和金薄膜(ns-Au / ZrO x)。该装置表现出具有短期记忆和增强/抑制的忆阻行为。观察到的松弛可以用拉伸指数函数来描述。此外,在重复脉冲应用下,短期现象的特征时间会动态变化。我们的纳米结构装置的特点是与其他纳米级忆阻装置相比,导电路径长度明显更长;氧化锆纳米结构薄膜的使用使得该装置与神经元细胞培养兼容。
电子器件中的忆阻器已显示出从电路元件到神经形态计算等一系列应用的潜力。这种改变电子器件中通道电导率的能力近年来使内存计算成为可能,从而吸引了人们对忆阻器的极大兴趣。光学模拟需要以半连续和非易失性的方式调制光的传输。随着光子计算的普及,人们正在使用一系列功能材料来实现这种光学模拟,即调制集成电路中的光学响应,同时保持调制状态。在这里,我们回顾了光子集成电路这一重要且新兴领域的最新进展,并概述了当前的最新技术。光学忆阻器在高带宽神经形态计算、机器学习硬件和人工智能中的应用尤其令人感兴趣,因此这些忆阻器的光学类似物允许将超快、高带宽光学通信与本地信息处理相结合的技术。
脑机接口(BCI)可以建立大脑与外部设备之间的信息交互,从而实现对活体生物组织行为的有效控制和协调,最终实现生物智能与人工智能的完美融合。[1,2]大脑作为神经系统中最高级的部分,在多维信息处理、智能计算与决策方面具有极高的效率和极低的功耗,这主要归功于神经元之间复杂的连接。[3–7]作为大脑计算引擎的神经元通过突触紧密连接(图1 a)。在生物突触中,传递到突触前神经元的神经电刺激(动作电位)导致电压门控Ca 2 +通道的开放,导致Ca 2 +离子内流,进而诱导胞吐的发生,促进神经递质的释放到突触间隙。来自突触间隙的神经递质在突触后质膜被NMDA和AMPA受体/离子通道接收,导致离子通道的开放或关闭,最终离子内流进入突触后神经元并建立突触后电位,这表明该过程在调节突触后细胞膜电导和膜电位的快速变化中起着重要作用(图1b)。[2,7–9]在此过程中,产生动作电位时膜电位的变化可分为静息、去极化、复极化和超极化四个阶段,如图1c和表1所示。如我们所见,生物系统的实际工作电压要求约为50–120 mV(生物电压)。 [10,11] 另一方面,基于与生物神经系统高度相似的忆阻器的类脑神经形态器件研究取得了重要进展,从根本上突破了冯·诺依曼瓶颈,真正实现了存储与计算的一体化。值得注意的是,受到生物大脑高效计算、低功耗的启发,忆阻器的工作电压与生物系统所需的生物电压相匹配,可以高效地处理复杂信息并进行进一步决策,为与生命体的连接和通信奠定基础。
脉冲神经网络 (SNN) 的设计灵感来源于人类大脑,它是使用集成系统中的传统或新兴电子设备在硬件上实现高效、低成本和鲁棒的神经形态计算的最强大平台之一。在硬件实现中,人工脉冲神经元的构建是构建整个系统的基础。然而,随着摩尔定律的放缓,传统的互补金属氧化物半导体 (CMOS) 技术逐渐衰落,无法满足日益增长的神经形态计算需求。此外,由于 CMOS 器件的生物可行性有限,现有的人工神经元电路非常复杂。具有易失性阈值开关 (TS) 行为和丰富动态的忆阻器是超越 CMOS 技术模拟生物脉冲神经元并构建高效神经形态系统的有希望的候选者。本文回顾了有关 SNN 基础知识的最新进展。此外,我们回顾了基于 TS 忆阻器的神经元及其系统的实现,并指出了系统演示中从器件到电路需要进一步考虑的挑战。我们希望这篇综述可以为未来基于忆阻器的神经形态计算的发展提供线索和帮助。
新兴的非易失性存储设备,即忆阻器,在神经形态硬件设计中展现出了非凡的前景,特别是在脉冲神经网络 (SNN) 硬件实现中。基于忆阻器的 SNN 已经应用于解决传统人工神经网络 (ANN) 解决的任务(例如图像分类和模式识别),并且不同学科仍在进行更多尝试以挖掘这一新研究课题的潜力。要将忆阻器应用于神经形态应用(本文中严格定义为使用 SNN 的应用),可以遵循两种途径。一种方法是首先利用硬件基础设施来表征和控制忆阻器设备,然后将其映射到应用程序的更高级函数(例如矩阵乘法)。另一种方法是将数据驱动的忆阻器模型嵌入软件模拟器中,以使用从真实设备中提取的参数来模拟应用程序。
随脉冲数增加而呈现增加趋势,并表现出显著的光感应行为,随着光功率从0 mW增加到8 mW而稳步增强。这种依赖于功率的电导控制表明了对突触权重的光学可调性,预示着未来视觉神经应用的潜力。图4i展示了通过调制光功率对开关时间(施加单脉冲时设备电流稳定的时间)的有效控制。对于读取电压为1 V、幅度为5 V、脉冲宽度和间隔均为3 s的脉冲,在532 nm激发下,开关时间从约1.8 s减少到0.6 s。这暗示了光调制忆阻器在神经形态应用上的高级灵敏度。
30 多年来,忆阻器一直是个谜,直到 2008 年 [ 8 ] HP 实验室的一组研究人员宣布成功实现第一个器件形式的忆阻器。这一最新发现吸引了众多科学家、工程师和研究人员的注意,他们纷纷探索忆阻器在分立和阵列配置中的更多可行应用及其器件技术。HP 忆阻器技术由厚度为 D 的氧化钛 (TiO 2 ) 薄膜双层和两个用作电极的铂 (Pt) 金属触点组成。TiO 2 的一部分掺杂了氧空位,因此变成 TiO 2-z,另一部分保持纯 TiO 2 。这些氧空位带正电,因此具有导电性,未掺杂的另一侧具有电阻特性,使得整个排列表现为半导体材料,见图 4。请注意,实际上带电掺杂剂沿着器件宽度散布,但是,其在一边的浓度与另一边的浓度相比可以忽略不计,从而导致两个不同的电阻区域。结构布置构成了两个串联连接的电阻 𝑅𝑅 𝑜𝑜𝑜𝑜 和 𝑅𝑅 𝑜𝑜𝑜𝑜𝑜𝑜。 𝑅𝑅 𝑜𝑜𝑜𝑜 电阻对应于宽度为 ( w ) 的掺杂区域(TiO 2-z 即高导电区域),而 𝑅𝑅 𝑜𝑜𝑜𝑜𝑜𝑜 电阻对应于宽度为 ( Dw ) 的未掺杂区域(TiO 2 即低导电区域),因此 𝑅𝑅 𝑜𝑜𝑜𝑜𝑜𝑜 ≫ 𝑅𝑅 𝑜𝑜𝑜𝑜 是两个电阻极限,分别表示器件的 OFF 和 ON 状态。掺杂区域和未掺杂区域之间的边界(用双向箭头表示)根据流动电流的方向或施加电压的极性来回移动。
本最终技术报告详细介绍了 AFRL 拨款 FA8750-18- 2-0122 下取得的成果。该项目的总体目标是开发一个基于忆阻器的神经形态计算硬件平台。在简要介绍背景和原理之后,介绍了技术方法。以下各节总结了设备、阵列和集成系统级别的研究成果。利用我们之前在设备开发和单晶体管单电阻 (1T1R) 阵列集成方面的成就,我们实现了全硬件忆阻多层神经网络,集成了用于并行图像和视频处理的三维 (3D) 忆阻器阵列,并构建了用于时间编码计算的新测试器。我们还开发了新的选择器设备,展示了单选择器单电阻 (1S1R) 阵列集成,展示了储层计算,并提出了扩散和漂移忆阻器的统一紧凑模型。
本文介绍了一个完全实验性的混合系统,其中使用定制的高阻态忆阻器和采用 180 nm CMOS 技术制造的模拟 CMOS 神经元组装了一个 4 × 4 忆阻交叉脉冲神经网络 (SNN)。定制忆阻器使用 NMOS 选择晶体管,该晶体管位于第二个 180 nm CMOS 芯片上。一个缺点是忆阻器的工作电流在微安范围内,而模拟 CMOS 神经元可能需要的工作电流在皮安范围内。一种可能的解决方案是使用紧凑电路将忆阻器域电流缩小到模拟 CMOS 神经元域电流至少 5-6 个数量级。在这里,我们建议使用基于 MOS 阶梯的片上紧凑电流分配器电路,将电流大幅衰减 5 个数量级以上。每个神经元之前都添加了这个电路。本文介绍了使用 4 × 4 1T1R 突触交叉开关和四个突触后 CMOS 电路的 SNN 电路的正确实验操作,每个电路都有一个 5 个十进制电流衰减器和一个积分激发神经元。它还演示了使用此小型系统进行的一次性赢家通吃训练和随机二进制脉冲时间依赖可塑性学习。