具有自适应权重调节功能的高精度神经形态装置对于高性能计算至关重要。然而,在不改变电脉冲的情况下实现选择性和线性突触权重更新的研究有限。在此,我们提出了一种基于可调柔性MXene储能装置的高精度自适应人工突触。这些突触可以根据存储的权重值进行自适应调整,以减轻重新计算造成的时间和能量损失。该电阻可用于有效调节单个装置中离子的积累和耗散,而无需改变外部脉冲刺激或预编程,以确保选择性和线性突触权重更新。通过训练和机器学习研究了基于柔性能源装置突触的神经网络的可行性。结果表明,该装置对数值分类等各种神经网络计算任务的识别准确率约为95%。
基于冯·诺依曼架构和经典神经网络的现代人工智能 (AI) 系统与哺乳动物的大脑相比具有许多基本局限性。在本文中,我们将讨论这些局限性及其缓解方法。接下来,我们将概述目前可用的神经形态 AI 项目,这些项目通过将一些大脑特征引入计算系统的功能和组织来克服这些局限性(TrueNorth、Loihi、Tianjic、SpiNNaker、BrainScaleS、NeuronFlow、DYNAP、Akida、Mythic)。此外,我们还介绍了根据神经形态 AI 系统所使用的大脑特征对其进行分类的原则:联结主义、并行性、异步性、信息传输的脉冲性质、设备上学习、本地学习、稀疏性、模拟和内存计算。除了回顾基于现有硅微电子技术的神经形态设备所使用的新架构方法外,我们还讨论了使用新忆阻器元件基座的前景。我们还给出了在神经形态应用中使用忆阻器的最新进展示例。
仅 2020 年,托管云工作负载的数据中心就排放了约 600 兆吨温室气体,超过整个英国 (GB) 的消耗量。除非发生根本性变化,否则到 2050 年,数据中心将消耗全球 20% 以上的能源!凭借其片上学习和低功耗、高吞吐量推理能力,我们相信 AKIDA 可以通过分散 AI 处理来帮助减少数据中心 98% 的碳排放。智能地分析片上数据将有助于终结数百万个端点向云数据中心发送的大量原始、未处理且大多不相关的数据,从而解决阻碍互联网拥塞的问题。
30 多年来,神经形态 VLSI 设计一直是一个研究领域。它始于尝试构建可以模拟眼睛和耳蜗等各个大脑区域功能的硅芯片 [1]。随着摩尔定律达到物理极限,业界正在寻求通过探索更好的算法(如神经启发(神经形态))来提高硅电路效率。这包括英特尔进军神经形态芯片 Loihi [2] 的尝试。此前,IBM 推出了神经形态芯片 True North [3]。True North 是一种具有神经元和突触阵列的神经处理器。除了作为神经处理器之外,Loihi 芯片还可以像人脑一样动态学习。这些芯片不仅可用于模拟大脑的各个区域,还可用于构建专用的机器学习硬件 [4] 和构建神经假体。尽管途径众多,但很少有大学提供这样的课程。因此,我们决定在我们的大学开设这门课程。本课程包括教授低功耗设计、亚阈值模式电路、混合信号芯片、将多个芯片组合成一个系统以实现神经形态硬件、背景神经科学和计算模型。
神经形态计算将机器学习和人工智能等计算领域与尖端硬件开发和材料科学以及神经科学的理念相结合。在其最初的形式中,“神经形态”用于指代包含模拟组件并模仿生物神经活动的定制设备/芯片 [Mead1990]。如今,神经形态计算已扩展到包括各种软件和硬件组件,以及材料科学、神经科学和计算神经科学研究。为了适应该领域的扩展,我们提出以下定义来描述神经形态计算的现状:神经形态系统也倾向于强调时间交互;这些系统的运行往往是事件驱动的。神经形态系统的几个特性(包括事件驱动行为)允许低功耗实现,即使在数字系统中也是如此。神经形态系统的各种特性表明,社区必须在神经生理学家、计算神经科学家、生物学家、计算机科学家、设备工程师、电路设计师和材料科学家的意见下解决大量的设计选择。图:生物大脑的抽象层次以及它们可能实现的功能
本最终技术报告详细介绍了 AFRL 拨款 FA8750-18- 2-0122 下取得的成果。该项目的总体目标是开发一个基于忆阻器的神经形态计算硬件平台。在简要介绍背景和原理之后,介绍了技术方法。以下各节总结了设备、阵列和集成系统级别的研究成果。利用我们之前在设备开发和单晶体管单电阻 (1T1R) 阵列集成方面的成就,我们实现了全硬件忆阻多层神经网络,集成了用于并行图像和视频处理的三维 (3D) 忆阻器阵列,并构建了用于时间编码计算的新测试器。我们还开发了新的选择器设备,展示了单选择器单电阻 (1S1R) 阵列集成,展示了储层计算,并提出了扩散和漂移忆阻器的统一紧凑模型。
摘要 — 神经网络驱动的人工智能和神经形态计算已实现许多应用。电子平台上神经网络的软件实现在速度和能效方面受到限制。神经形态光子学旨在构建处理器,其中光学硬件模拟大脑中的神经网络。与纯数字电子方法相比,这些处理器在速度和能效方面有望实现数量级的提高。然而,集成光学神经网络比电子实现(数千万个神经元)小得多(数百个神经元)。这就引出了一个问题:在哪些应用中,亚纳秒延迟和能效胜过处理器的庞大尺寸?我们概述了神经形态光子系统及其在机器学习和神经形态计算中的实际应用。
基于冯·诺依曼架构和经典神经网络的现代人工智能系统与大脑相比具有许多基本局限性。本文讨论了这些局限性及其缓解方法。接下来,本文概述了当前可用的神经形态人工智能项目,这些项目通过将一些大脑特征引入计算系统的功能和组织中来克服这些局限性(TrueNorth、Loihi、Tianjic、SpiNNaker、BrainScaleS、NeuronFlow、DYNAP、Akida)。此外,本文还介绍了根据神经形态人工智能系统所使用的大脑特征(神经网络、并行性和异步性、信息传输的脉冲性质、局部学习、稀疏性、模拟和内存计算)对其进行分类的原理。除了基于现有硅微电子技术的神经形态设备中使用的新架构方法外,本文还讨论了使用新忆阻器元件基的前景。本文还给出了在神经形态应用中使用忆阻器的最新进展示例。
NASP 解决方案使用迁移学习的原理,其中负责原始数据预处理的神经网络的大多数层(1)在一定数量的训练周期后保持不变(固定模拟核心),并且只有最后几层(2)在接收新数据和重新训练时进行更新(灵活数字核心)。
我们提出了一种高效且可扩展的分区方法,用于将具有局部密集和全局稀疏连接的大规模神经网络模型映射到可重构的神经形态硬件上。计算效率的可扩展性,即实际计算所花费的时间,在超大型网络中仍然是一个巨大的挑战。大多数分区算法还难以解决网络工作负载的可扩展性问题,即寻找全局最优分区并有效地映射到硬件上。由于通信被视为此类分布式处理中最耗能和最耗时的部分,因此分区框架针对计算平衡、内存高效的并行处理进行了优化,目标是低延迟执行和密集的突触存储,并尽量减少跨各个计算核心的路由。我们展示了高度可扩展且高效的分区,用于连接感知和分层地址事件路由资源优化的映射,与随机平衡分配相比,递归地显着减少了总通信量。我们展示了我们在具有不同稀疏度和扇出度的合成网络、小世界网络、前馈网络和果蝇大脑半脑连接组重建方面的成果。我们的方法和实际结果的结合表明,这是一条有希望扩展到超大规模网络和可扩展硬件感知分区的途径。