XiaoMi-AI文件搜索系统
World File Search System受大
受大脑启发的具有脉冲神经元的多层感知器
近年来，多层感知器 (MLP) 成为计算机视觉任务领域的研究热点。由于没有归纳偏差，MLP 在特征提取方面表现良好并取得了惊人的效果。然而，由于其结构简单，其性能高度依赖于局部特征通信机制。为了进一步提高 MLP 的性能，我们引入了脑启发神经网络的信息通信机制。脉冲神经网络 (SNN) 是最著名的脑启发神经网络，在处理稀疏数据方面取得了巨大成功。SNN 中的泄漏积分和触发 (LIF) 神经元用于在不同时间步骤之间进行通信。在本文中，我们将 LIF 神经元的机制合并到 MLP 模型中，以在不增加 FLOP 的情况下实现更好的准确率。我们提出了一种全精度 LIF 操作来在块之间进行通信，包括不同方向的水平 LIF 和垂直 LIF。我们还建议使用组 LIF 来提取更好的局部特征。借助 LIF 模块，我们的 SNN-MLP 模型在 ImageNet 数据集上分别仅使用 4.4G、8.5G 和 15.2G FLOP 就实现了 81.9%、83.3% 和 83.5% 的 top-1 准确率，据我们所知，这是最先进的结果。源代码将在 https://gitee.com/mindspore/models/tree/master/research/cv/snn mlp 上提供。
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
BRAINGPT：一个受大脑启发的基于 SNN 的大型
基于人工神经网络 (ANN) 的大型语言模型 (LLM) 表现出色，但在计算效率和生物可解释性方面面临挑战。我们提出了 BrainGPT，这是一种基于测试时间训练 (TTT) 框架并受到脉冲神经网络 (SNN) 和神经生物学原理启发的新型 LLM 架构。我们的方法采用双模型结构，模拟人脑中观察到的分层语言处理，并利用具有自适应阈值的专门积分和激发神经元模型。通过多阶段训练策略，包括量化感知预训练、ANN 到 SNN 的转换和受生物启发的无监督学习，我们实现了从 ANN 到 SNN 的数学证明的无损转换，保留了 100% 的原始 ANN 模型的性能。此外，受生物启发的无监督学习优化了维持 100% ANN 性能所需的最大时间步骤。与原始 TTT 模型相比，BrainGPT 的能源效率提高了 33.4%，训练收敛速度提高了 66.7%。这项工作推动了节能且可生物解释的大型语言模型的开发，这些模型的性能可与最先进的基于 ANN 的模型相媲美，同时显著改进了 TTT 框架。
受大脑启发的人工智能
当前的人工智能 (AI) 模型通常专注于通过细致的参数调整和优化技术来提高性能。然而，这些模型背后的基本设计原则受到的关注相对较少，这可能会限制我们对它们的潜力和约束的理解。这篇全面的评论探讨了塑造现代 AI 模型（即脑启发式人工智能 (BIAI)）的各种设计灵感。我们提出了一个分类框架，将 BIAI 方法分为物理结构启发模型和人类行为启发模型。我们还研究了不同 BIAI 模型擅长的实际应用，强调了它们的实际优势和部署挑战。通过深入研究这些领域，我们提供新的见解并提出未来的研究方向，以推动创新并解决该领域当前的空白。这篇评论为研究人员和从业者提供了 BIAI 格局的全面概述，帮助他们发挥其潜力并加快 AI 发展的进步。
受大脑启发的脉冲神经网络中的终身学习和发展联想记忆
生物系统中的 EAM，更具体地说是大脑中的 EAM，是通过终身学习 (LLL) 创建的，其中相关项目在时间和空间中的结构（例如集群）不断创建和修改。另一方面，LLL 依赖于基于共性和相似性将新项目添加到现有结构中，因此 LLL 和 EAM 是同一过程的双重原则。这种二元性涉及大脑中不同层次的分子和神经功能，例如：神经发生；神经调节；情景重放；元可塑性；多感觉整合。1 大脑中的 LLL 是基于神经网络的人工系统中 LLL 的终极灵感，更具体地说，是基于大脑启发的脉冲神经网络 (SNN) 架构，其中时空联结结构不断形成和修改以形成不断发展的时空联想记忆 (ESTAM)。2–5
一种受大脑启发的算法，可以以较低的计算成本缓解人工和脉冲神经网络的灾难性遗忘
大脑中的神经调节剂以多种形式的突触可塑性发挥作用，这些可塑性被表示为元可塑性，现有的脉冲神经网络 (SNN) 和非脉冲人工神经网络 (ANN) 很少考虑到这一点。在这里，我们报告了一种有效的受大脑启发的 SNN 和 ANN 计算算法，本文称为神经调节辅助信用分配 (NACA)，它使用期望信号将定义水平的神经调节剂诱导到选择性突触，从而根据神经调节剂水平以非线性方式修改长期突触增强和抑制。NACA 算法在学习空间和时间分类任务时实现了高识别准确率，同时大幅降低了计算成本。值得注意的是，NACA 还被证实可有效学习五种不同复杂程度的类别连续学习任务，并以低计算成本显著缓解灾难性遗忘。映射突触权重变化表明，这些好处可以通过基于期望的整体神经调节所导致的稀疏和有针对性的突触修改来解释。
BIFRNet：一种受大脑启发的特征恢复 DNN，用于部分遮挡图像识别
部分遮挡图像识别 (POIR) 问题长期以来一直是人工智能面临的挑战。处理 POIR 问题的常用策略是使用非遮挡特征进行分类。不幸的是，当图像被严重遮挡时，此策略将失去效果，因为可见部分只能提供有限的信息。神经科学领域的一些研究表明，特征恢复（填充遮挡信息并称为非模态补全）对于人脑识别部分遮挡图像至关重要。然而，特征恢复通常会被 CNN 忽略，这可能是 CNN 对 POIR 问题无效的原因。受此启发，我们提出了一种新颖的受大脑启发的特征恢复网络 (BIFRNet) 来解决 POIR 问题。它模拟腹侧视觉通路来提取图像特征，并模拟背侧视觉通路来区分遮挡和可见图像区域。此外，它还使用知识模块存储对象先验知识，并使用完成模块根据可见特征和先验知识恢复遮挡特征。在合成和真实世界遮挡图像数据集上进行的深入实验表明，BIFRNet 在解决 POIR 问题方面优于现有方法。特别是对于严重遮挡的图像，BIRFRNet 大大超越其他方法，接近人脑性能。此外，受大脑启发的设计使 BIFRNet 更具可解释性。
当受大脑启发的 AI 遇到 AGI
通用人工智能 (AGI) 一直是人类的长期目标，其目的是创造出能够执行人类可以做的任何智力任务的机器。为了实现这一目标，AGI 研究人员从人类大脑中汲取灵感，并寻求在智能机器中复制其原理。受大脑启发的人工智能是从这一努力中产生的一个领域，它结合了神经科学、心理学和计算机科学的见解，以开发更高效、更强大的人工智能系统。在本文中，我们从 AGI 的角度全面概述了受大脑启发的人工智能。我们首先介绍受大脑启发的人工智能的最新进展及其与 AGI 的广泛联系。然后，我们介绍人类智能和 AGI 的重要特征（例如，扩展、多模态和推理）。我们讨论了在当前 AI 系统中实现 AGI 的重要技术，例如情境学习和快速调整。我们还从算法和基础设施的角度研究了 AGI 系统的演变。最后，我们探讨了 AGI 的局限性和未来。
受大脑启发的脉冲神经网络架构在气味数据分类中的应用
摘要：现有的神经形态嗅觉方法主要侧重于基于嗅觉通路的神经生物学结构实现数据转换。虽然转换对于稀疏脉冲气味数据表示至关重要，但基于高级大脑区域生物计算的分类技术（用于处理脉冲数据以识别气味）仍未得到充分探索。本文认为，受大脑启发的脉冲神经网络是下一代机器智能处理气味数据的一种有前途的方法。受大脑信息处理原理的启发，我们在此提出了第一种用于气味数据分类的脉冲神经网络方法和相关的深度机器学习系统。本文表明，与目前最先进的方法相比，所提出的方法具有多种优势。根据使用基准数据集获得的结果，该模型对大量气味实现了高分类准确率，并且具有对新数据进行增量学习的能力。本文探讨了不同的脉冲编码算法，发现最适合该任务的是分步编码函数。大脑启发的气味机器分类研究的进一步方向包括研究更具生物学可行性的气味数据映射、学习和解释算法，以及在一些高度并行且低功耗的神经形态硬件设备上实现这些算法以供实际应用。
受大脑启发的超维计算，实现超高效的边缘 AI
摘要 — 超维计算 (HDC) 正在迅速成为传统深度学习算法的有吸引力的替代方案。尽管深度神经网络 (DNN) 在许多领域取得了巨大的成功，但它们在训练期间所需的计算能力和存储空间使得将它们部署在边缘设备中非常具有挑战性，甚至不可行。这反过来不可避免地需要将数据从边缘传输到云端，这在可用性、可扩展性、安全性和隐私方面引发了严重的担忧。此外，边缘设备通常从传感器接收的数据本质上是有噪声的。然而，DNN 算法对噪声非常敏感，这使得以高精度完成所需的学习任务变得非常困难。在本文中，我们旨在全面概述 HDC 的最新进展。HDC 旨在通过使用更接近人脑的策略来实现实时性能和稳健性。事实上，HDC 的动机是人类大脑在高维数据表示上运行的观察。在 HDC 中，对象被编码为具有数千个元素的高维向量。在本文中，我们将讨论 HDC 算法对噪声的良好鲁棒性以及从少量数据中学习的能力。此外，我们将介绍 HDC 与冯·诺依曼架构之外的出色协同作用，以及 HDC 如何通过其所需的超轻量级实现为边缘高效学习打开大门，这与传统 DNN 不同。索引术语 — 超维计算、嵌入式系统、节能计算、对抗性攻击、电压调节、内存计算、安全、图形、机器人、计算机视觉