XiaoMi-AI文件搜索系统
World File Search System反向传播
基于充电特性和反向传播神经网络的健康状态评估
等效电路模型 (ECM)、电化学模型和经验退化模型 (EDM) 是常用的 SOH 估算模型。基于 ECM 的方法不研究电池内部复杂的物理化学反应过程，而是基于电路模型，采用滤波算法进行参数辨识，并更新模型参数进行 SOH 估算。例如，余 [3] 采用递归最小二乘 (RLS) 法辨识 ECM 的参数，然后采用自适应 H∞ 滤波算法估计 SOH。徐 [4] 也采用 RLS 辨识参数，然后估算 SOH。基于模型的方法虽然简单、计算成本低，但自适应性较差，且估算结果更多地依赖于参数辨识和滤波算法的有效性。
QuCNN：基于纠缠反向传播的量子卷积神经网络
摘要 — 量子机器学习仍然是量子计算领域中一个非常活跃的领域。其中许多方法已经将经典方法应用于量子设置，例如 QuantumFlow 等。我们推动这一趋势，并展示了经典卷积神经网络对量子系统的适应性——即 QuCNN。QuCNN 是一个基于参数化的多量子态的神经网络层，计算每个量子滤波状态和每个量子数据状态之间的相似性。使用 QuCNN，可以通过单辅助量子比特量子例程实现反向传播。通过在一小部分 MNIST 图像上应用具有数据状态和滤波状态的卷积层、比较反向传播的梯度并针对理想目标状态训练滤波状态来验证 QuCNN。索引术语 — 量子计算、量子机器学习、卷积神经网络
在综合光子神经网络中以反向传播学习
塑料自适应，非线性复发动力学和多尺度内存是神经网络硬件实现的所需功能，因为它们使它们能够学习，适应和处理与生物学大脑的方式相似。在这项工作中，这些特性发生在光子神经元阵列中。重要的是，这是以紧急方式自主实现的，而无需外部控制器设置权重，也没有明确的全球奖励信号反馈。使用基于简单的逻辑回归的无反向传播培训算法的层次结构，在MNIST任务上实现了98.2％的绩效，这是一项流行的基准测试任务，研究书面数字的分类。塑料节点由硅光子微孔谐振器组成，这些谐振器被带有非挥发记忆的一块相变材料覆盖。系统是紧凑，健壮和直接的，可以通过使用多个波长来扩展。此外，它构成了一个独特的平台来测试和有效地以高处理速度实现生物学上合理的学习方案。
带有反向传播波及其在芯片上的主动控制
©2024作者。本文根据创意共享4.0国际许可，允许以任何中等或格式的使用，共享，适应，分发和复制，因为您将适当的信用归功于原始作者和这些作者，并提供了与创意共享许可证的链接，并指出了IFCHANGES的链接。本文章中的图像或其他第三方材料包含在文章的Creative Commons许可中，除非在材料的信用额度中另有指示。如果本文的创意共享许可中不包含材料，并且您的预期使用不受法定法规的允许或超过允许的使用权，则您需要直接从版权所有的人获得许可。要查看此许可证的副本，请访问http://creativecommons.org/licenses/4.0/。
基于反向传播的深度脉冲神经网络学习技术：综述
摘要 — 随着智能系统的采用，人工神经网络 (ANN) 已变得无处不在。传统的 ANN 实现能耗高，限制了它们在嵌入式和移动应用中的使用。脉冲神经网络 (SNN) 通过二进制脉冲随时间分布信息来模拟生物神经网络的动态。神经形态硬件的出现充分利用了 SNN 的特性，例如异步处理和高激活稀疏性。因此，SNN 最近引起了机器学习社区的关注，成为低功耗应用的 ANN 的受大脑启发的替代品。然而，信息的离散表示使得通过基于反向传播的技术训练 SNN 具有挑战性。在这篇综述中，我们回顾了针对深度学习应用（例如图像处理）的深度 SNN 的训练策略。我们从基于从 ANN 到 SNN 的转换的方法开始，并将它们与基于反向传播的技术进行比较。我们提出了一种新的脉冲反向传播算法分类法，将其分为三类，即：空间方法、时空方法和单脉冲方法。此外，我们还分析了提高准确性、延迟和稀疏性的不同策略，例如正则化方法、训练混合和调整特定于 SNN 神经元模型的参数。我们重点介绍了输入编码、网络架构和训练策略对准确性-延迟权衡的影响。最后，鉴于准确、高效的 SNN 解决方案仍面临挑战，我们强调了联合硬件和软件共同开发的重要性。
关于量子反向传播、信息重用和欺骗测量崩溃
摘要 现代深度学习的成功取决于大规模训练神经网络的能力。通过巧妙地重用中间信息，反向传播通过梯度计算促进训练，总成本大致与运行函数成正比，而不是产生与参数数量成正比的额外因素——现在参数数量可能达到数万亿。人们天真地认为量子测量崩溃完全排除了反向传播中量子信息的重用。但阴影断层扫描的最新发展（假设可以访问量子态的多个副本）挑战了这一观点。在这里，我们研究参数化量子模型是否可以像经典神经网络一样高效地训练。我们表明，如果不能访问状态的多个副本，就不可能实现反向传播缩放。有了这种额外的能力，我们引入了一种以阴影断层扫描为基础的算法，该算法与量子资源中的反向传播缩放相匹配，同时降低了阴影断层扫描中未解决问题的经典辅助计算成本。这些结果突出了将量子信息重用于实际目的的细微差别，并阐明了训练大型量子模型的独特困难，这可能会改变量子机器学习的进程。
将卷积层和Biforter网络与前向和反向传播培训
准确的分子特性预测对于药物发现和计算化学至关重要，促进了有希望的化合物并加速治疗性发育的鉴定。传统的机器学习以高维数据和手动特征工程的速度失败，而现有的深度学习方法可能不会捕获复杂的分子结构，而留下了研究差距。我们引入了深CBN，这是一个新型框架，旨在通过直接从原始数据中捕获复杂的分子表示来增强分子性质预测，从而提高了准确性和效率。我们的方法论结合了卷积神经网络（CNN）和biforter注意机制，同时采用了前向算法和反向传播。该模型分为三个阶段：（1）功能学习，使用CNN从微笑字符串中提取本地特征； （2）注意力完善，通过向前前锋算法增强的Biforter模块捕获全球环境； （3）预测子网调整，通过反向传播进行微调。对基准数据集的评估 - 包括TOX21，BBBP，SIDE，Clintox，Clintox，Bace，HIV和MUV，表明深-CBN达到了近乎完美的ROC-AUC分数，显着超过了最好的State-Art-Art方法。这些发现证明了其在捕获复杂分子模式的有效性，提供了一种强大的工具来加速药物发现过程。
带错误反向传播算法和实验实现的量子电路学习
摘要：量子计算具有胜过经典计算机的潜力，并有望在各种领域中发挥积极作用。在量子机学习中，发现量子计算机可用于增强特征表示和高维状态或功能近似。量子 - 古典杂交算法近年来在嘈杂的中间尺度量子计算机（NISQ）环境下为此目的提出了量子 - 级别的混合算法。 在此方案下，经典计算机所起的作用是量子电路的参数调整，参数优化和参数更新。 在本文中，我们提出了一种基于梯度下降的反向传播算法，该算法可以充分地计算参数优化中的梯度并更新量子电路学习的参数，该参数以当前参数搜索算法的范围优于计算速度，同时呈现相同的测试精度，甚至更高。 同时，所提出的理论方案成功地在IBM Q的20量量子计算机上实施。 实验结果表明，栅极误差，尤其是CNOT门误差，强烈影响派生的梯度精度。 随着由于累积的门噪声误差，在IBM Q上执行的回归精度变得较低。量子 - 级别的混合算法。在此方案下，经典计算机所起的作用是量子电路的参数调整，参数优化和参数更新。在本文中，我们提出了一种基于梯度下降的反向传播算法，该算法可以充分地计算参数优化中的梯度并更新量子电路学习的参数，该参数以当前参数搜索算法的范围优于计算速度，同时呈现相同的测试精度，甚至更高。同时，所提出的理论方案成功地在IBM Q的20量量子计算机上实施。实验结果表明，栅极误差，尤其是CNOT门误差，强烈影响派生的梯度精度。随着由于累积的门噪声误差，在IBM Q上执行的回归精度变得较低。
注意力门控大脑传播：大脑如何实现基于奖励的错误反向传播
最近的许多研究都集中在生物学上可行的监督学习算法变体上。然而，运动皮层中没有老师来指导运动神经元，大脑中的学习取决于奖励和惩罚。我们展示了一种生物学上可行的强化学习方案，适用于具有任意层数的深度网络。网络通过选择输出层中的单元来选择动作，并使用反馈连接将信用分配给负责此动作的连续较低层中的单元。做出选择后，网络会得到强化，没有老师来纠正错误。我们展示了新的学习方案——注意力门控大脑传播 (BrainProp)——在数学上等同于错误反向传播，每次针对一个输出单元。我们展示了深度全连接、卷积和局部连接网络在经典和硬图像分类基准（MNIST、CIFAR10、CIFAR100 和 Tiny ImageNet）上的成功学习。 BrainProp 的准确度与标准误差反向传播相当，甚至优于最先进的生物启发式学习方案。此外，学习的反复试验性质与有限的额外训练时间有关，因此 BrainProp 的速度要慢 1-3.5 倍。因此，我们的研究结果为如何在大脑中实施深度学习提供了新的见解。
卷积神经网络中赫布学习与反向传播在图像分类中的比较
摘要 — 目前常用的图像识别卷积神经网络与人脑有一些相似之处。然而，它们之间存在许多差异，而且成熟的反向传播学习算法在生物学上并不合理。Hebbian 学习是一种可以最小化这些差异并可能为图像识别网络提供类似大脑的有利特征的算法。在这里，我们探讨了 Hebbian 学习和反向传播之间的差异，包括准确性和隐藏层数据表示。总体而言，Hebbian 网络的表现比传统的反向传播训练网络差得多。使用不完整的训练数据和失真的测试数据的实验导致性能差异较小但仍然可见。然而，事实证明，Hebbian 网络的卷积滤波器结构比反向传播更简单、更易于解释。我们假设，改进 Hebbian 网络的扩展能力可以使它们成为具有更像大脑行为的图像分类网络的强大替代方案。