XiaoMi-AI文件搜索系统
World File Search SystemSpiking
脉冲神经膜系统和脉冲神经网络学习模型综述
脉冲神经网络 (SNN) 是一种受生物启发的神经网络模型，具有某些类似大脑的特性。在过去的几十年里，这种模型在计算机科学界引起了越来越多的关注，这也要归功于深度学习的成功。在 SNN 中，神经元之间的通信通过脉冲和脉冲序列进行。这使得这些模型有别于“标准”人工神经网络 (ANN)，在“标准”人工神经网络中，脉冲频率被实值信号取代。脉冲神经网络 P 系统 (SNPS) 可以被认为是 SNN 的一个分支，它更多地基于形式自动机的原理，在膜计算理论的框架内开发了许多变体。在本文中，我们首先简要比较了 SNN 和 SNPS 的结构和功能、优点和缺点。本文的一个关键部分是概述了 SNN 和 SNPS 形式化的机器学习和深度学习模型的最新成果和应用。
不断发展的尖峰神经网络
这项研究介绍了近年来（过去八年）对不断发展的尖峰神经网络（ESNN）发展的深刻见解和全面分析。ESNN已用于大量优化问题。它具有多个优点：计算廉价的基于知识的在线学习方法，我们已经分析了不同应用区域中ESNN的改进。本评论论文讨论了研究人员使用不同的优化技术进行的ESNN优化，以实现可能的最佳准确性。在这项包容性研究中，很少收集使用ESNN的出版物。首先，我们介绍ESNN。然后，我们将ESNN的当前版本表征为5个变体，主要是杂交，修改，多目标，动态和集成。之后，正在评估所研究的ESNN模型的结果。审查论文是通过结论优化的ESNN模型的基本原理来概括的，并提供了可思考的未来方向，这些方向可以在当前有关ESNN的超参数优化的作品中探讨。关键字：ESNN，变体，超参数，优化，综合分析1。引言人工神经网络（ANN）是出于勃起和人脑目的的动机。它们已被用作有影响力的计算机制，以揭示复杂功能估计，分类问题和模式识别。其他分析机制无法明智地适应的问题[1]。通过时间的流逝，ANN已成长为普遍存在的生物学现实模型[2]。人工神经网络已转换了执行监督，无监督和强化学习任务的实践中标准手段。他们持续的成就达到了为医学诊断提供人类专业知识的图像分类水平。这些重要的发展是通过算法开发做出的。对皮质锥体神经元的研究揭示了离散的尖峰时间作为加密信息的一种方式，这在神经网络中非常重要[3]。尖峰神经网络，被称为第三代人工神经
受大脑启发的具有脉冲神经元的多层感知器
近年来，多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差，MLP 在特征提取方面表现良好并取得了惊人的效果。然而，由于其结构简单，其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能，我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络，在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中，我们将 LIF 神经元的机制合并到 MLP 模型中，以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信，包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块，我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率，据我们所知，这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
迈向大规模脉冲神经网络
摘要 —深度学习彻底改变了人工智能 (AI)，在计算机视觉、语音识别和自然语言处理等领域取得了显著进步。此外，大型语言模型 (LLM) 的最新成功推动了对大规模神经网络的研究热潮。然而，对计算资源和能源消耗的不断增长的需求促使人们寻找节能的替代方案。受人脑的启发，脉冲神经网络 (SNN) 有望通过事件驱动的脉冲实现节能计算。为了为构建节能的大型 SNN 模型提供未来方向，我们概述了开发深度脉冲神经网络的现有方法，重点关注新兴的脉冲 Transformer。我们的主要贡献如下：（1）深度脉冲神经网络的学习方法概述，按 ANN 到 SNN 的转换和使用代理梯度的直接训练分类；（2）深度脉冲神经网络的网络架构概述，按深度卷积神经网络 (DCNN) 和 Transformer 架构分类； （3）对最先进的深度 SNN 进行全面比较，重点关注新兴的 Spiking Transformers。然后，我们进一步讨论并概述了大规模 SNN 的未来发展方向。
脉冲神经网络的最优控制
控制理论提供了一种自然语言来描述多区域交互和灵活的认知任务，例如隐性注意力或脑机接口 (BMI) 实验，这些实验需要找到足够的局部电路输入，以便以上下文相关的方式控制其动态。在最佳控制中，目标动态应该最大化沿轨迹的长期价值概念，可能受控制成本的影响。由于这个问题通常难以处理，因此当前控制网络的方法大多考虑简化设置（例如，线性二次调节器的变体）。在这里，我们提出了一个数学框架，用于对具有低秩连接的随机脉冲神经元的循环网络进行最佳控制。一个基本要素是控制成本，它惩罚偏离网络默认动态（由其循环连接指定），从而促使控制器尽可能使用默认动态。我们推导出一个贝尔曼方程，该方程指定低维网络状态 (LDS) 的值函数和相应的最佳控制输入。最优控制律采用反馈控制器的形式，如果神经元的脉冲活动倾向于将 LDS 移向更高（更低）值的区域，则该控制器向循环网络中的神经元提供外部兴奋性（抑制性）突触输入。我们使用我们的理论来研究将网络状态引导到特定终端区域的问题，这些终端区域可以位于 LDS 中具有慢速动态的区域内或区域外，类似于标准 BMI 实验。我们的结果为一种具有广泛适用性的新方法奠定了基础，该方法统一了神经计算的自下而上和自上而下的视角。
具有自我
通过神经网络通过神经网络进行的软件实施方法，脑为脑中的计算方法是许多重要的现代计算任务，从图像处理到语音识别，人工智能和深度学习应用程序。然而，与真实的神经组织不同，传统的计算体系结构物理分离了内存和处理的核心计算功能，使得难以实现快速，高效和低能的大脑样计算。要克服这种局限性，一个有吸引力的替代目标是设计直接的脑神经元和突触的硬件模仿，当在适当的网络（或神经形态系统）连接时，以与真实大脑的方式相似的方式处理信息。在这里，我们介绍了能够监督和无监督学习的这种神经突触系统的全光学版本。我们利用波长的多路复用技术来实现光子神经网络的可扩展电路体系结构，成功地在光学域中成功证明了模式识别。这种光子神经突触网络有望访问光学系统固有的高速和带宽，这对于直接处理光学电信和视觉数据非常有吸引力。
自由空间光学脉冲神经网络
神经形态工程已成为开发大脑启发式计算系统的一种有前途的途径。然而，传统的基于电子人工智能的处理器经常遇到与处理速度和散热相关的挑战。作为一种替代方案，已经提出了此类处理器的光学实现，利用光的固有信息处理能力。在光学神经形态工程领域探索的各种光学神经网络 (ONN) 中，脉冲神经网络 (SNN) 在模拟人脑的计算原理方面表现出显著的成功。光学 SNN 基于事件的脉冲特性提供了低功耗操作、速度、时间处理、模拟计算和硬件效率方面的功能，这些功能很难或不可能与其他 ONN 类型相匹配。在这项工作中，我们介绍了开创性的自由空间光学深度脉冲卷积神经网络 (OSCNN)，这是一种受人眼计算模型启发的新方法。我们的 OSCNN 利用自由空间光学来提高功率效率和处理速度，同时保持模式检测的高精度。具体而言，我们的模型在初始层采用 Gabor 滤波器进行有效特征提取，并利用使用现成光学元件设计的强度到延迟转换和同步器等光学元件。OSCNN 在基准数据集（包括 MNIST、ETH80 和 Caltech）上进行了严格测试，显示出具有竞争力的分类准确性。我们的比较分析表明，OSCNN 仅消耗 1.6 W 的功率，处理速度为 2.44 毫秒，明显优于 GPU 上的传统电子 CNN，后者通常消耗 150-300 W，处理速度为 1-5 毫秒，并且与其他自由空间 ONN 相媲美。我们的贡献包括解决光学神经网络实现中的几个关键挑战。为了确保组件对准的纳米级精度，我们提出了先进的微定位系统和主动反馈控制机制。为了提高信号完整性，我们采用了高质量的光学元件、纠错算法、自适应光学和抗噪声编码方案。通过设计高速光电转换器、定制集成电路和先进的封装技术，优化了光学和电子元件的集成。此外，我们还利用高效、紧凑的半导体激光二极管，并开发了新颖的冷却策略，以最大限度地减少功耗和占地面积。