dev> dennis诉Chiristensen 1,Regina Dittmann 2,Bernabe Linares-Barranco 3,Abu Sebastian 4,Manuel Le Gallo 4,Andrea Redaelli 5,Stefan Slesozeck 6,Slesozeck 6,Thomas Mikolajick 6,7 Shi-jun。 Liang 12,Feng Miao 12,Mario Lanza 13,Tyler J Quill 14,Scott T Keene 15,Alberto Salleo 14,Julie Grollier 16,Danijela Markovi´ c 16,Alice Mizrahi 16,Peng Yao 17,Peng Yao 17,J Joshua Yang 17,J Joshua Yang 17,Giacomo Indventa,Johiacomo Indventa,John dim suna stra,约翰·鲍安·鲍安·鲍安·帕纳,亚历山大·瓦伦蒂安22,约翰内斯·费尔德曼(Johannes Feldmann)1,Xuan li 23,Wolfram H P Pernice 24,25,Harish Bhaskaran 23,Steve Furber 26,Emre Nefti 27,Franz Scherl 27,Franz Scherl 28,Wolfggang Maass 28,Srikanth Ramaswamy 29 Kim 31,Gouhei Tanaka 32,Simon Thorpe 33,Chiara Bartolozzi 34,Thomas,Cleland 35,Christoph Posch 36,Shihchii Liu 18,Gabriella Panuccio 37 18,西尔维亚·托卢(Silvia Tolu), 14,Roberto Galeazzi 40,Martin Ejsing Christensen 41,Sune Holm 42,Daniele Ielmini 43和N Pryds 1
由于其非易失性和多位属性,回忆录已被广泛用作神经形态体系结构中的突触重量元素。但是,它们用于定义和重新编程的用于网络连接性已被忽略。在这里,我们提出,实施和实验证明了Mosaic,Mosaic是基于一系列Memristor横杆的神经形态结构。第一次,我们不仅使用分布式的非易失性备忘录来计算,而且用于路由(即定义网络连接性)。马赛克特别适合实施可重新配置的小世界图形模型,具有密集的局部和稀疏的全局连接性 - 在大脑中广泛发现。我们在数学上表明,随着网络的扩大,马赛克所需的记忆比传统的备忘录方法更少。我们在马赛克上绘制一个尖峰的复发性神经网络,以求解心电图(ECG)异常检测任务。与基于微型控制器和基于地址的代表性处理器相比,在相应的一个和两个数量级降低能量需求的降低中,镶嵌的优势在相等的镶嵌物中的优势是相等或更好的。马赛克有望根据基于记忆和能量较少的图理论原理设计神经形态硬件的新方法。
开发智能神经形态解决方案仍然是一项艰巨的任务。它需要对硬件的基本构建块有扎实的概念理解。除此之外,易于访问且用户友好的原型设计对于加快设计流程至关重要。我们基于神经网络模拟器 Brian 开发了一个开源 Loihi 模拟器,可以轻松将其纳入现有的模拟工作流程。我们在软件中演示了单个神经元和循环连接的脉冲神经网络的无错误 Loihi 模拟。我们还审查并实施了片上学习,由于随机舍入,存在合理的差异。这项工作提供了 Loihi 计算单元的连贯介绍,并介绍了一个新的、易于使用的 Loihi 原型设计包,旨在帮助简化新算法的概念化和部署。
动物神经系统在处理感觉输入方面非常有效。神经形态计算范式的目的是针对神经网络计算的硬件实施,以支持用于构建脑启发的计算系统的新颖解决方案。在这里,我们从果实幼虫的神经系统中的感觉处理中汲取灵感。具有<200个神经元和<1.000的强烈有限的计算资源,幼虫嗅觉途径采用基本计算来转变外围的广泛调节的益人的输入,成为中央大脑中良好的稀疏代码。我们展示了这种方法如何使我们能够在尖峰神经网络中实现刺激模式的稀疏编码和提高的可分离性,并在混合体信号实时神经形态硬件上通过软件仿真和硬件仿真验证。我们验证反馈抑制是在神经元种群中支持空间结构域稀疏性的主要基础,而尖峰频率适应和反馈抑制的组合决定了时间域中的稀疏性。我们的例外表明,在神经形态硬件上有效地实现了如此大小的生物学上现实的神经网络,可以实现并行处理并有效地编码在全时间分辨率下进行感官。
摘要:高功率和低变异性人工神经元设备非常需要高性能神经形态综合。在本文中,基于低可变性Ag纳米(NDS)阈值开关(TS)设备的振荡神经元具有低操作电压,较大的ON/OFF/OFF比率和高均匀性。测量结果表明,该神经元的示范在低至1 V的施加电压下表现出自振荡行为。振荡频率随施加的电压脉冲振幅而增加,并且随着载荷电阻而降低。然后,当振荡神经元连接到用于神经形态计算的RRAM Crossbar AR-Ray的输出时,可以准确地评估电阻随机记忆(RRAM)突触权重。同时,模拟结果表明,由于AG NDS TS设备的高开/OFF比(> 10 8),我们的振荡神经元可以通过我们的振荡神经元来支持大的RRAM横杆阵列(> 128×128)。此外,AG NDS TS设备的高均匀性有助于提高输出频率的分布并抑制神经网络识别精度的降解(<1%)。因此,基于AG NDS设备的开发的振荡神经元显示出对未来神经形态计算应用的巨大潜力。
神经形态计算是一种非冯·诺依曼计算范式,通过模拟人脑进行计算。神经形态系统非常节能,耗电量比 CPU 和 GPU 少数千倍。它们有可能在未来推动自动驾驶汽车、边缘计算和物联网等关键用例。因此,它们被视为未来计算领域不可或缺的一部分。神经形态系统主要用于基于脉冲的机器学习应用,尽管图论、微分方程和基于脉冲的模拟中也有一些非机器学习应用。这些应用表明神经形态计算可能具有通用计算能力。然而,神经形态计算的通用可计算性尚未建立。在这项工作中,我们证明了神经形态计算是图灵完备的,因此具有通用计算能力。具体来说,我们提出了一种神经形态计算模型,其中只有两个神经元参数(阈值和泄漏)和两个突触参数(权重和延迟)。我们设计了神经形态电路来计算所有 µ 递归函数(即常数、后继和投影函数)和所有 µ 递归运算符(即组合、原始递归和最小化运算符)。鉴于 µ 递归函数和运算符正是可以使用图灵机计算的函数和运算符,这项工作确立了神经形态计算的图灵完备性。
用于人工智能和神经形态计算的硅光子学 Bhavin J. Shastri 1,2、Thomas Ferreira de Lima 2、Chaoran Huang 2、Bicky A. Marquez 1、Sudip Shekhar 3、Lukas Chrostowski 3 和 Paul R. Prucnal 2 1 加拿大安大略省金斯顿皇后大学物理、工程物理和天文学系,邮编 K7L 3N6 2 普林斯顿大学电气工程系,邮编 新泽西州普林斯顿 08544,美国 3 加拿大不列颠哥伦比亚大学电气与计算机工程系,邮编 BC 温哥华,邮编 V6T 1Z4 shastri@ieee.org 摘要:由神经网络驱动的人工智能和神经形态计算已经实现了许多应用。电子平台上神经网络的软件实现在速度和能效方面受到限制。神经形态光子学旨在构建处理器,其中光学硬件模拟大脑中的神经网络。 © 2021 作者 神经形态计算领域旨在弥合冯·诺依曼计算机与人脑之间的能源效率差距。神经形态计算的兴起可以归因于当前计算能力与当前计算需求之间的差距不断扩大 [1]、[2]。因此,这催生了对新型大脑启发算法和应用程序的研究,这些算法和应用程序特别适合神经形态处理器。这些算法试图实时解决人工智能 (AI) 任务,同时消耗更少的能量。我们假设 [3],我们可以利用光子学的高并行性和速度,将相同的神经形态算法带到需要多通道多千兆赫模拟信号的应用,而数字处理很难实时处理这些信号。通过将光子设备的高带宽和并行性与类似大脑中的方法所实现的适应性和复杂性相结合,光子神经网络有可能比最先进的电子处理器快至少一万倍,同时每次计算消耗的能量更少 [4]。一个例子是非线性反馈控制;这是一项非常具有挑战性的任务,涉及实时计算约束二次优化问题的解。神经形态光子学可以实现新的应用,因为没有通用硬件能够处理微秒级的环境变化 [5]。
1弗里德里希·米沙尔(Friedrich Miescher)生物医学研究所,瑞士巴塞尔2号CWI,阿姆斯特丹,荷兰,荷兰3斯沃默丹生命科学研究所(SILS)英国6 Google Research,Z€Urich,瑞士7 KIRCHHOFF物理研究所,海德堡大学,海德堡,海德堡,德国海德堡8号,8 8瑞士伯恩大学生理学系9瑞士伯恩大学9理论计算机科学研究所,格拉兹大学,格拉兹大学,格拉兹大学,格拉兹大学,奥地利10 cnrs-cercoce and Instuction and Instuction and Instuction and Mindrance of France and in Minder and in Minder and the France and 313300 tour and insion France and 313300 tour tour and Insuse。渥太华,加拿大渥太华渥太华大学蜂窝分子医学系12个认知科学系,加利福尼亚大学,加利福尼亚大学,加利福尼亚州欧文,加利福尼亚州欧文,13美国计算机科学系,加利福尼亚大学,欧文大学,加利福尼亚州欧文大学,加利福尼亚,加利福尼亚大学,美国电气和电子工程系14伦敦伦敦,伦敦,UKINDENCERICENT:FRMIDEM.ZEN。 https://doi.org/10.1016/j.neuron.2021.01.009
摘要:冯·诺伊曼(Von Neumann)计算机目前未能遵循摩尔定律,受到冯·诺伊曼(Von Neumann)瓶颈的限制。为增强计算性能,正在开发可以模拟人脑功能的神经形态计算系统。人造突触是神经形态结构的必不可少的电子设备,它们具有在相邻的人造神经元之间执行信号处理和存储的能力。近年来,电解质门控晶体管(EGT)被视为模仿突触动态可塑性和神经形态应用的有前途的设备。在各种电子设备中,基于EGT的人工突触提供了良好稳定性,超高线性和重复循环对称性的好处,并且可以从多种材料中构造。他们还在空间上分开“读”和“写”操作。在本文中,我们对神经形态应用的电气门控晶体管领域的最新进展和主要趋势进行了回顾。我们介绍了电动双层的操作机理和基于EGT的艺术突触的结构。然后,我们回顾了基于EGT的人工突触的不同类型的通道和电解质材料。最后,我们回顾了生物学功能中的潜在应用。
用于人工智能和神经形态计算的光子学 1 2 Bhavin J. Shastri a,b,g,h , Alexander N. Tait c,b,g,h , Thomas Ferreira de Lima b , Wolfram HP Pernice d , Harish 3 Bhaskaran e , C. David Wright f , Paul R. Prucnal b 4 5 a 加拿大皇后大学物理、工程物理与天文学系,加拿大安大略省金斯顿 KL7 3N6 6 b 普林斯顿大学电气工程系,美国新泽西州普林斯顿 08544 7 c 美国国家标准与技术研究所应用物理部,美国科罗拉多州博尔德 80305 8 d 德国明斯特大学物理研究所,德国明斯特 48149 9 e 牛津大学材料系,英国牛津 OX1 3PH 10 f 埃克塞特大学工程系,埃克塞特 EX4 4QF,英国 11 g 这些作者对本文做出了同等贡献。 12 h shastri@ieee.org;alexander.tait@nist.gov 13 14 由于光子集成平台上光电元件的激增,光子计算研究蓬勃发展。光子集成电路已经实现了超快的人工神经网络,为新型信息处理机器提供了框架。在这种硬件上运行的算法有可能满足医疗诊断、电信、高性能和科学计算等领域对机器学习和人工智能日益增长的需求。与此同时,神经形态电子学的发展凸显了该领域的挑战,特别是与处理器延迟相关的挑战。神经形态光子学提供亚纳秒级的延迟,为扩展人工智能领域提供了互补机会。在这里,我们回顾了集成光子神经形态系统的最新进展,讨论了当前和未来的挑战,并概述了应对这些挑战所需的科学和技术进步。 25 26 传统计算机围绕集中式处理架构(即具有中央处理器 27 和内存)组织,适合运行顺序、数字、基于过程的程序。这种架构对于分布式、大规模并行和自适应的计算模型效率低下,最明显的是用于人工智能 (AI) 中神经网络的计算模型。人工智能试图在这些对传统计算机来说具有挑战性但对人类来说很容易的任务上接近人类水平的准确度。基于神经网络的机器学习 (ML) 算法已经取得了重大成就 [ 1 ],它以分布式 32 方式处理信息并适应过去的输入,而不是由程序员明确设计。机器学习已经影响了我们生活的许多方面,其应用范围从翻译语言 [ 2 ] 到癌症诊断 [ 3 ]。神经形态工程在一定程度上试图将机器学习和人工智能算法的元素转移到能反映其大规模分布特性的硬件上。将硬件与算法相匹配可能会使信息处理速度更快、更节能。神经形态硬件也适用于机器学习之外的问题,例如机器人控制、数学规划和神经科学假设检验 [4,5]。与其他计算机架构相比,大规模分布式硬件在很大程度上依赖于集中元件(即神经元)之间的大规模并行互连。每个连接都专用的金属线是不切实际的。因此,当前最先进的神经形态电子设备使用某种形式的时分复用的共享数字通信总线,用带宽换取互连 [4]。光互连可以消除这种权衡,从而有可能加速机器学习和神经形态计算。 43 44 光已成为电信和数据中心的通信媒介,但在信息处理和计算领域尚未得到广泛应用。光电元件在通信方面表现出色,但其特性与数字门的要求却相矛盾 [6]。然而,非数字计算模型(如神经网络)更适合在光子学中实现。神经形态光子处理器的目标不应是取代传统计算机,而应实现传统计算技术目前无法实现的应用,特别是那些需要低延迟、高带宽和低能耗的应用 [7]。超快神经网络的应用示例包括:51 52 • 实现基础物理学的突破:量子比特读出分类 [ 8 ]、高能粒子碰撞 53 分类 [ 9 , 10 ]、聚变反应堆等离子体控制 [ 11 ] 54 • 非线性规划:解决非线性优化问题(机器人、自动驾驶汽车、预测 55 控制)[ 12 ] 和偏微分方程 [ 13 ] 5643 44 光已成为电信和数据中心的通信媒介,但在信息处理和计算领域尚未得到广泛应用。光电元件在通信方面表现出色,但其特性与数字门的要求却相矛盾 [6]。然而,非数字计算模型(如神经网络)更适合在光子学中实现。神经形态光子处理器的目标不应是取代传统计算机,而应实现传统计算技术目前无法实现的应用,特别是那些需要低延迟、高带宽和低能耗的应用 [7]。超快神经网络的应用示例包括:51 52 • 实现基础物理学的突破:量子比特读出分类 [ 8 ]、高能粒子碰撞 53 分类 [ 9 , 10 ]、聚变反应堆等离子体控制 [ 11 ] 54 • 非线性规划:解决非线性优化问题(机器人、自动驾驶汽车、预测 55 控制)[ 12 ] 和偏微分方程 [ 13 ] 5643 44 光已成为电信和数据中心的通信媒介,但在信息处理和计算领域尚未得到广泛应用。光电元件在通信方面表现出色,但其特性与数字门的要求却相矛盾 [6]。然而,非数字计算模型(如神经网络)更适合在光子学中实现。神经形态光子处理器的目标不应是取代传统计算机,而应实现传统计算技术目前无法实现的应用,特别是那些需要低延迟、高带宽和低能耗的应用 [7]。超快神经网络的应用示例包括:51 52 • 实现基础物理学的突破:量子比特读出分类 [ 8 ]、高能粒子碰撞 53 分类 [ 9 , 10 ]、聚变反应堆等离子体控制 [ 11 ] 54 • 非线性规划:解决非线性优化问题(机器人、自动驾驶汽车、预测 55 控制)[ 12 ] 和偏微分方程 [ 13 ] 56