储存器计算 (RC) [1, 2] 是一种循环神经网络,近年来因其训练成本低、可通过专用电路 [3, 4] 和物理 RC [5, 6] 在硬件上实现而备受关注。RC 由储存器部分和读出部分组成,储存器部分接收时间序列输入并将其非线性转换为高维空间以表示输入的时空模式,读出部分从储存器部分拾取一些模式来分析输入并生成输出。RC 的主要优势是除读出部分之外的权重连接都是固定的。因此,与深度神经网络相比,其训练所需的数据量更少,计算成本更低。因此,RC 适用于计算资源有限且无需云计算即可执行训练的边缘 AI 系统。 RC 的读出大多由线性模型(单层感知器)实现,因此,读出的适应训练数据的能力有限。为了增强 RC 的训练能力,我们提出了一个具有多个读出的 RC 模型,该模型将一个读出的训练分散,以便每个读出可以专注于特定类型的训练数据。该方法可以看作是一种集成学习,用于增强 RC 泛化性能。简单地增加读出的数量对于边缘 AI 系统来说是低效的,因为它会消耗系统中有限的内存资源。本研究引入了一种自组织函数,它能够使用
摘要本文的特定目的在于:为材料科学、化学或电子学等领域的读者提供利用其材料系统实施储层计算 (RC) 实验的概述。关于该主题的介绍性文献很少,绝大多数评论都提出了 RC 的基本概念,这些概念对于不熟悉机器学习领域的人来说可能并不简单(例如,参见参考文献 Lukoˇseviˇcius (2012 Neural Networks: Tricks of the Trade (Berlin: Springer) pp 659–686)。考虑到大量表现出非线性行为和短期记忆的材料系统可用于设计新颖的计算范式,这是令人遗憾的。RC 提供了一个使用材料系统进行计算的框架,该框架可以避免在硬件上实现传统的、功能齐全的前馈神经网络时出现的典型问题,例如最小的设备间变异性以及对每个单元/神经元和连接的控制。相反,可以使用随机的、未经训练的储存器,其中仅优化输出层,例如使用线性回归。在下文中,我们将重点介绍 RC 在基于硬件的神经网络中的潜力,以及相对于更传统的方法,以及在实施过程中需要克服的障碍。准备一个高维非线性系统作为特定任务的高性能储存器并不像乍看起来那么容易。我们希望本教程能够降低科学家试图利用他们的非线性系统进行通常在机器学习和人工智能领域执行的计算任务的障碍。与本文配套的模拟工具可在线获取 7 。
已经确定,评估矿床的储层特性的标准方法是在矿床开发的技术文档开发中积累不确定性的来源。这项工作旨在开发一种改进的方法来评估矿床的收集者特性。提议将动作算法添加到确定样品的代表性体积,构建其三维模型并进行数字化的阶段。在最后阶段,使用Minkowski函数确定样品内部孔的连通性,以提高存款开发的项目文档质量。指南来改善评估存款的收集者特性的标准方法。使用改进的方法来评估矿床的储层特性会导致不确定性的较低程度,并有助于在其开发的设计阶段形成更可靠的储层作战情况。提出的研究将对外国承包商公司的工程人员有用,因为它证明需要收集其他核心材料并设置有关存款收藏家财产的信息的质量标准。
抽象物理储层计算(RC)代表一个计算框架,可利用可编程物质的信息处理能力,从而实现具有快速学习和低训练成本的能源有效神经形态硬件。尽管自组织的回忆网络已被证明是物理储层,能够从时空输入信号中提取相关特征,但多发纳米网络为计算实施的新型策略开辟了可能性。在这项工作中,我们报告了Materia RC的实施策略,并具有自组装的回忆网络。除了显示自组织纳米线网络的时空信息处理能力外,我们还通过模拟显示,新兴的集体动力学允许RC非常规实现,其中相同的电极可以用作储层输入和输出。通过在数字识别任务上比较不同的实施策略,模拟表明,非常规实现允许降低硬件复杂性,而无需限制计算能力,从而为在Materia计算中充分利用的新见解提供了对神经形态系统合理定义的全面优势。
抽象物理储层计算(RC)代表一个计算框架,可利用可编程物质的信息处理能力,从而实现具有快速学习和低训练成本的能源有效神经形态硬件。尽管自组织的回忆网络已被证明是物理储层,能够从时空输入信号中提取相关特征,但多发纳米网络为计算实施的新型策略开辟了可能性。在这项工作中,我们报告了Materia RC的实施策略,并具有自组装的回忆网络。除了显示自组织纳米线网络的时空信息处理能力外,我们还通过模拟显示,新兴的集体动力学允许RC非常规实现,其中相同的电极可以用作储层输入和输出。通过在数字识别任务上比较不同的实施策略,模拟表明,非常规实现允许降低硬件复杂性,而无需限制计算能力,从而为在Materia计算中充分利用的新见解提供了对神经形态系统合理定义的全面优势。
基于物理的神经形态计算是当前数字技术的有前途的算法,因为其能量效率,并行性的潜力和较大的带宽。在各种体系结构中,复发性神经网络(RNN)特别适合以频度依赖性(例如音频和视频信号)处理数据[?]。但是,他们解决特定任务的监督培训通常是数据密集型的,需要调整网络的互发矩阵,这是硬件实现的挑战。储层计算(RC)提供了一个框架来通过简化训练过程来克服此问题,从本质上讲,将RNN未经训练以及在结合RNN节点的瞬时响应的输出层上使用简单的lin-1 eR-ear回归[??]。这些考虑因素通过使用七个技术平台(包括微电子学,旋转和光子学[??]。在后一类中,已经提出了各种插曲[? ]包括大规模的自由空间体系结构[???],光反馈体系结构[???]和光子集成电路[??]。这些物理系统已经在各种任务上证明了最先进的性能,包括非线性通道均衡,混乱的时间序列预测和语音识别[?]。],其中一个物理非线性反馈体系结构依赖于时间延迟储层(TDRC)方法[?
大脑电路涉及大量的反馈回路,其动力学取决于相互作用的延迟。脑启发的储层计算利用互连单元的丰富复发动力学来执行输入的任务。特别是,时间延迟储层计算使用非线性延迟反馈回路架构中的高维瞬态动力学,例如时间序列预测和语音分类。最近还证明,通过包含多个延迟的延迟分化系统的动态属性修改,以提高时间延迟储层计算的性能。在这里,我们探索了这种基本和技术重要性的这种神经启发的计算的另一个方面:在混合物中分离和预测两个信号的能力,在混合物中,每个信号由于其潜在的动力学而具有一些内在的可预测性。使用混沌输入信号混合物的多层和多层储层计算进行了说明。与独立的组件分析和相关的无监督学习技术相反,这里的上下文在于平行监督每个信号的动力学学习,以便在训练集之外预测每个信号的每个信号。此外,将混沌信号的超渗透到单个输入通道中增加了任务的难度。我们用确定性和随机系统发出的各种信号来量化和解释这种性能。此外,我们还探索了深度延迟储层计算机的体系结构。我们的发现表明,多延迟储层计算可以学习和预测两个叠加确定性信号的未来。预测(因此分离)在单层和多层时间延迟的预订计算中可能会明显更高。混合信号的带通滤波以除去较低和较高的频率,将预测提高了几%。在某些情况下,矛盾的是,增加混合物中一个混沌信号的比例实际上可以帮助学习另一个混乱信号,从而稍微改善其预测。
Hadrien Thomas,Benjamin Brigaud,Thomas Blaise,Elodie Zordan,Hermann Zeyen等。地热,2023,112,pp.102719。10.1016/j.geothermics.2023.102719。hal-04086839v2
光子平台正逐渐成为满足日益增长的人工智能需求的一种有希望的选择,其中光子时间延迟储存器计算(TDRC)被广泛期待。虽然这种计算范式只能采用单个光子器件作为数据处理的非线性节点,但其性能高度依赖于延迟反馈回路(FL)提供的衰减记忆,这限制了物理实现的可扩展性,特别是对于高度集成的芯片。在这里,我们提出了一种简化的光子方案,利用设计的准卷积编码(QC)实现更灵活的参数配置,从而完全摆脱了对FL的依赖。与基于延迟的TDRC不同,基于QC的RC(QRC)中的编码数据支持时间特征提取,从而有助于增强记忆能力。因此,我们提出的QRC无需实现FL即可处理与时间相关的任务或序列数据。此外,我们可以使用低功率、易于集成的垂直腔面发射激光器来实现该硬件,以实现高性能并行处理。我们通过 QRC 和 TDRC 的模拟和实验比较来说明概念验证,其中结构更简单的 QRC 在各种基准测试任务中表现更佳。我们的结果可能为深度神经网络的硬件实现提供了一个有利的解决方案。
储层计算是一种植根于经常性神经网络的时间序列处理的监督机器学习方法[1,2]。受到大脑机制的启发,许多相互连接的人工神经元过程输入输入并显示内部记忆。反复的神经网络随后适合于语音识别等时间任务[3,4],但以难以训练的代价。网络的所有权重需要在时间[5]中使用反向传播进行训练,这是一种耗时的,并非总是在融合[6]。不同,在储层计算(RC)中,仅训练输出层的权重以处理信息[7,8]。这些结构是由三个元素组成的:将数据注入系统中的输入层,由随机连接的大量神经元(或节点)组成的储层,以及一个外部(或读取)层以从储层中提取信息。在储层上的某些条件下,用简单的线性回归训练输出层就足够了[1,8]。在本文中,我们使用单个非线性节点(如[9]中)提供了储层协议的设计。尽管最近的作品已通过光学频率梳子的频率组件成功实现了储层和神经形态的组合[10-12],但我们在这里利用了时间特征,即脉冲基础,光频率梳子作为储层的节点。此外,使用相干性同伴检测,因此可以在场的相分量中编码信息,而不是其强度或弹性。我们表明,尽管有少量的节点和低可线性的节点,但我们的协议具有良好的性能,同时显示非线性记忆和预测可供使。我们的系统建立在可以使用光脉冲来构建尖峰储层的概念上[13,14],并且信息注入的相位编码可以在光子储层计算机中获得更好的性能[15,16]。基于光学的计算[17]可能能够给予对电子设备的速度或能源效率。