基于脉冲神经网络的神经形态计算有可能显著提高人工智能的在线学习能力和能源效率,特别是对于边缘计算。计算神经科学的最新进展证明了异突触可塑性对于网络活动调节和记忆的重要性。因此,在硬件中实现异突触可塑性是非常可取的,但重要的材料和工程挑战仍然存在,需要在神经形态设备方面取得突破。在这篇小型评论中,我们概述了具有可调突触可塑性的硅基多端忆阻设备的最新进展,从而实现了硬件中的异突触可塑性。讨论了这些设备与工业互补金属氧化物半导体 (CMOS) 技术的可扩展性和兼容性。
一种能够模仿人脑同时处理多种类型数据能力的神经形态计算芯片可以从根本上革新和改进备受诟病的冯诺依曼计算机架构。忆阻器是构建神经形态智能系统的最佳硬件单元之一,因为它们在固有低电压下工作、使用多位存储并且制造成本低廉。然而,作为一种无源器件,忆阻器单元需要外部能量才能运行,导致功耗高且电路结构复杂。最近,一种新兴的自供电忆阻系统有望完美解决上述问题,该系统主要由忆阻器和电动纳米发电机组成。它因无电运行的优势而引起了人们的极大兴趣。在这篇综述中,我们系统地描述了从存储到神经形态计算的自供电忆阻系统。这篇综述还证明了自供电忆阻系统在人工智能中的应用前景。
Fernando CORINTO,博士 电气工程教授 都灵理工大学 电子与电信系 Corso Duca degli Abruzzi, 24, 10129 - 都灵 - 意大利 个人简历 Fernando Corinto 分别于 2001 年和 2005 年获得都灵理工大学电子工程硕士学位和电子与通信工程博士学位。他还于 2005 年获得都灵理工大学欧洲博士学位。Corinto 教授于 2004 年荣获玛丽居里奖学金。他目前是都灵理工大学电子与电信系电气工程教授。他的研究活动主要集中在非线性动态电路和系统、复杂/神经网络和用于优化问题的忆阻器纳米技术方面。 Corinto 教授是 2 本书、7 个书籍章节和 150 多篇国际期刊和会议论文的合著者。自 2010 年以来,他担任 IEEE 高级会员。他还是 IEEE CAS 技术委员会“蜂窝纳米级网络和阵列计算”和“非线性电路和系统”的成员。Corinto 教授曾担任 IEEE 北意大利 CAS 分会的副主席。Corinto 教授于 2014-2015 年担任 IEEE 电路和系统汇刊 I 的副主编。自 2015 年 1 月以来,他还担任国际电路理论与应用杂志的编辑委员会和评论编辑。Corinto 教授曾担任 COST Action“忆阻器 - 器件、模型、电路、系统和应用 (MemoCiS)”的副主席。 Corinto 教授于 2013 年和 2017 年担任德累斯顿工业大学德累斯顿高级研究员。Corinto 教授也是慕尼黑工业大学 August-Wilhelm Scheer 客座教授和慕尼黑工业大学高等研究院成员。研究资助 1) 第 12 届科技合作执行计划(2019-2021 年)框架内研究项目“带有振荡神经元和事件驱动突触交叉开关的忆阻器脉冲神经网络用于神经形态视觉识别”的首席研究员。 2) 国家研究项目 PRIN 2007“带有动态开关忆阻器振荡器的模拟计算:理论、设备和应用(COSMO)”的首席研究员,该项目由大学及研究部(MIUR)支持。 3) COST 行动“忆阻器 - 设备、模型、电路、系统和应用(MemoCiS)”副主席http://www.cost.eu/COST_Actions/ict/Actions/IC1401。 4) 2013 - 2015年意大利共和国和韩国科技合作执行计划框架内研究项目“用于神经形态应用的基于忆阻器的混合蜂窝系统”的首席研究员。5) 2015 年法国意大利大学/意大利法国大学 (UFI/UIF) PHC Galilée 2015 项目“使用忆阻器实现复杂网络同步”研究项目的首席研究员。 6) 拉格朗日项目为期两年 (2005/7-2007/6) 研究奖学金 (由 CRT 基金会资助并在 ISI 基金会的科学监督下) 的首席研究员。 7) 2009-2011 年期间 CRT 基金会资助的“用于处理时空模式的纳米电路阵列”研究项目的首席研究员。 8) 2012-2014 年期间 CRT 基金会资助的“用于神经形态计算的局部连接混合系统”研究项目的首席研究员。
脉冲神经网络 (SNN) 的设计灵感来源于人类大脑,它是使用集成系统中的传统或新兴电子设备在硬件上实现高效、低成本和鲁棒的神经形态计算的最强大平台之一。在硬件实现中,人工脉冲神经元的构建是构建整个系统的基础。然而,随着摩尔定律的放缓,传统的互补金属氧化物半导体 (CMOS) 技术逐渐衰落,无法满足日益增长的神经形态计算需求。此外,由于 CMOS 器件的生物可行性有限,现有的人工神经元电路非常复杂。具有易失性阈值开关 (TS) 行为和丰富动态的忆阻器是超越 CMOS 技术模拟生物脉冲神经元并构建高效神经形态系统的有希望的候选者。本文回顾了有关 SNN 基础知识的最新进展。此外,我们回顾了基于 TS 忆阻器的神经元及其系统的实现,并指出了系统演示中从器件到电路需要进一步考虑的挑战。我们希望这篇综述可以为未来基于忆阻器的神经形态计算的发展提供线索和帮助。
DOI: 10.7498/aps.71.140101 类脑计算技术作为一种脑启发的新型计算技术 , 具有存算一体、事件驱动、模拟并行等特征 , 为 智能化时代开发高效的计算硬件提供了技术参考 , 有望解决当前人工智能硬件在能耗和算力方面的 “ 不可持续发展 ” 问题 . 硬件模拟神经元和突触功能是发展类脑计算技术的核心 , 而支持这一切实现 的基础是器件以及器件中的物理电子学 . 根据类脑单元实现的物理基础 , 当前类脑芯片主要可以分 为数字 CMOS 型、数模混合 CMOS 型以及新原理器件型三大类 . IBM 的 TrueNorth 、 Intel 的 Loihi 、清华大学的 Tianjic 以及浙江大学的 Darwin 等都是数字 CMOS 型类脑芯片的典型代表 , 旨 在以逻辑门电路仿真实现生物单元的行为 . 数模混合型的基本思想是利用亚阈值模拟电路模拟生物 神经单元的特性 , 最早由 Carver Mead 提出 , 其成功案例有苏黎世的 ROLLs 、斯坦福的 Neurogrid 等 . 以上两种类型的类脑芯片虽然实现方式上有所不同 , 但共同之处在于都是利用了硅基晶体管的 物理特性 . 此外 , 以忆阻器为代表的新原理器件为构建非硅基类脑芯片提供了新的物理基础 . 它们 在工作过程中引入了离子动力学特性 , 从结构和工作机制上与生物单元都具有很高的相似性 , 近年 来受到国内外产业界和学术界的广泛关注 . 鉴于硅基工艺比较成熟 , 当前硅基物理特性是类脑芯片 实现的主要基础 . 忆阻器等新原理器件的类脑计算技术尚处于前沿探索和开拓阶段 , 还需要更成熟 的制备技术、更完善的系统框架和电路设计以及更高效的算法等 .
知识与理解 1.什么是神经元?它们如何交换信息?2.忆阻器与普通电阻器有何不同?3.Pavel 的团队采取了哪些步骤来开发和测试新颖的
固态量子技术的不断进步已带来前景光明的高质量硅基量子比特 [1], [2]。此类量子系统在低至 10 mK 的低温下工作,目前由位于室温低温恒温器外部的经典电子设备控制。虽然这种方法可以操作少量子比特系统,但很明显,管理数量大幅增加的量子比特将是不可能的。因此,要迈向大规模量子系统,有必要探索新颖的集成和封装方法,以在具有一个或多个温度阶段的低温环境中开发量子经典接口 [3]。与此同时,纳米级电阻开关存储器(也称为忆阻器)是室温应用(如基于大规模并行神经形态电子架构的大容量存储器和内存计算应用)最有前途的候选者之一 [4]。在低温下展示可逆、非挥发和高度非线性的忆阻器器件电阻编程将为基于忆阻器的低温电子学铺平道路,从而有助于克服实现量子霸权的障碍。到目前为止,研究电阻存储器的最低温度是 4 K [5]–[10],主要是为了更好地了解基于过渡金属氧化物的器件的温度相关行为和传导机制。
图 1:深度神经网络硬件 (a) 由通过突触(箭头)连接的多层神经元(圆圈)组成的深度神经网络。(b) 连接两层神经元的忆阻交叉阵列 21。插图表示单个忆阻器单元,垂直连接一行和一列。突触前 CMOS 神经元(红色)向行施加电压。每列的输出电流 Ij 是所有输入电压 Vi 乘以忆阻器电导 Gij 的总和。每列的放大器驱动突触后 CMOS 神经元(蓝色)。(c) 由圆形谐振器组成的光学神经网络,将不同波长 λ i 输入(不同颜色)耦合到神经元(灰色)22。突触(橙色方块)和神经激活功能(绿色方块)由相变材料实现。
基于深度学习和 GPU 实现的解决方案已导致许多 AI 任务得到大规模改进,但也导致对计算能力的需求呈指数级增长。最近的分析表明,自 2012 年以来,对计算能力的需求增加了 30 万倍,估计每 3.4 个月这一需求就会翻一番 — — 这一速度远远快于历史上通过摩尔定律实现的改进(在同一时期内提高了七倍)。[1] 与此同时,摩尔定律在过去几年里显著放缓,[2] 因为有强烈迹象表明,我们将无法继续缩小互补金属氧化物半导体 (CMOS) 晶体管的尺寸。这要求探索替代技术路线图,以开发可扩展且高效的 AI 解决方案。
混合忆阻器-CMOS神经元用于全硬件忆阻脉冲神经网络的原位学习 张旭萌 #1,2,3、陆建 #2、王睿 2,3、魏劲松 2、石拓 2,4、窦春梦 2,3、吴祖恒 2,3、尚大山 2,3、幸国忠 2,3、刘奇*1,2、刘明 1,2 1 复旦大学前沿芯片与系统研究所,上海 200433,中国,2 中国科学院微电子研究所微电子器件与集成技术重点实验室,北京 100029,中国,3 中国科学院大学,北京 100049,中国,4 浙江实验室,杭州 311122。 E-mail: qi_liu@fudan.edu.cn #这些作者对这项工作做出了同等贡献。摘要: