XiaoMi-AI文件搜索系统
World File Search SystemSNNS
社论：脉冲神经网络学习、基准测试、编程和执行
脉冲神经网络 (SNN) 是一种受大脑启发的神经网络，它模仿生物大脑，具体来说，模仿大脑的神经代码、神经动力学和电路。由于 SNN 在人类认知的生物现实建模和节能、事件驱动的机器学习硬件开发方面具有巨大潜力，因此引起了人工智能 (AI) 和神经科学界的极大兴趣 (Pei et al., 2019; Roy et al., 2019)。在图像处理、语音识别和机器翻译等广泛的 AI 领域都取得了重大进展。它们在很大程度上受到人工神经网络 (ANN) 在系统学习理论方面的进步、具有各种任务和数据集的明确基准、友好的编程工具[例如 TensorFlow (Abadi 等，2016) 和 Pytorch (Paszke 等，2019) 机器学习工具]和高效的处理平台[例如图形处理单元 (GPU) 和张量处理单元 (TPU) (Jouppi 等，2017)] 的推动。相比之下，SNN 在这些方面仍处于早期阶段。为了进一步发挥 SNN 的优势并吸引更多研究人员为该领域做出贡献，我们提出了神经科学前沿的研究主题，讨论 SNN 的主要挑战和未来前景，重点关注其“学习算法、基准测试、编程和执行”。我们相信，通过算法-硬件协同设计，SNN 将在节能机器学习设备的开发中发挥关键作用。该研究主题汇集了不同学科的研究人员，以展示他们在 SNN 方面的最新工作。我们收到了来自世界各地的 22 份投稿，并接受了 15 篇论文。接受的论文范围涵盖学习算法、模型效率、编程工具和神经形态硬件。
神经发动机：基于硬件的事件驱动模拟...
大脑启发的计算旨在了解大脑的机制，并重现其计算能力，以推动计算机科学领域的各个领域。深度学习是一个成功的例子，可以通过利用简化的人工神经网络（ANN）来大大改善模式识别和分类的领域。为了进一步利用大脑的计算能力，因此取得了更大的进步，各种研究都取决于尖峰神经网络（SNN），这些神经网络（SNN）紧密地模仿了大脑的计算[2，10，12，14]。snns通过采用神经元模型来实现大脑样的计算，这些神经元模型在传入的尖峰和时间方面改变了内部状态。特别是，各种研究表明了神经元模型的丰富时间动力学，其内部状态逐渐变化为显着的计算性状[8，11]。因此，新兴研究积极投资基于此类复杂模型的SNN的潜在收益。例如，史密斯（Smith）的研究提出了一种基于复杂神经元模型的新组合范式[12，13]。同时，Ponulak等。重现大脑的导航功能[9]，其他作品采用SNN进行特征推断[16]或满意度问题[4]。为了部署新兴的SNN工作负载，研究人员依赖SNN模拟系统模拟复杂的神经动力学。不幸的是，现有的SNN模拟系统遭受了高计算开销的困扰，因此，设计一个能够快速且能富有能力的SNN模拟的系统，高度要求。
脉冲神经网络的并行集群架构
脉冲神经网络 (SNN) 是神经形态计算的一个分支，目前在神经科学应用中用于理解和建模生物大脑。SNN 还可能用于许多其他应用领域，例如分类、模式识别和自主控制。这项工作提出了一个高度可扩展的硬件平台 POETS，并使用它在大量并行和可重构的 FPGA 处理器上实现 SNN。当前系统由 48 个 FPGA 组成，提供 3072 个处理核心和 49152 个线程。我们使用该硬件实现了多达四百万个神经元和一千个突触。与其他类似平台的比较表明，当前的 POETS 系统比 Brian 模拟器快二十倍，比 SpiNNaker 快至少两倍。
使用元神经算法的培训尖峰神经网络
摘要：从大脑中汲取灵感，已经提出了尖峰神经网络（SNN）来理解和减少机器学习和神经形态计算之间的差距。超级学习是传统ANN中最常用的学习算法。然而，由于尖峰神经元的不连续和非差异性质，直接使用基于反向传播的监督学习方法培训SNN具有挑战性。为了克服这些问题，本文提出了一种新颖的基于元疗法的监督学习方法，以适应时间误差函数。我们研究了七种称为Harmony Search（HS），杜鹃搜索（CS），差异进化（DE），粒子群优化（PSO），遗传算法（GA），人工BEE COLONY（ABC）和语法进化方法的遗传算法（GA），遗传算法（GA），遗传算法优化（GA），遗传算法优化（GA），遗传算法优化（GA），用于携带网络培训的搜索方法。使用相对目标频率时间而不是固定和预定的时间，使误差函数的计算更加简单。使用UCI机器学习存储库中收集的五个基准数据库评估了我们所提出的方法的表现。实验结果表明，与其他实验算法相比，该提议的算法在解决四个分类基准数据集方面具有竞争优势，其准确率为0.9858、0.9768、0.77752，而IRIS，癌症，糖尿病，糖尿病和0.6871的精度为0.9858、0.9768、0.77752和0.6871。在七种元启发式算法中，CS报告了最佳性能。
Spike-dransventermer的有效稀疏硬件加速器
摘要 - 诸如Vision Transformer和Bert之类的大型模型，由于其表现性能而引起了极大的关注。但是，它们广泛的计算要求导致了大量的功率和硬件资源消耗。脑启发的计算已成为低功率硬件实现的一种有希望的方法。在本文中，我们提出了用于尖峰驱动变压器的有效稀疏硬件加速器。我们首先设计了一种新颖的编码方法，该方法编码有效激活的位置信息并跳过非尖峰值。此方法使我们能够使用编码的尖峰来执行线性，最大化和尖峰驱动的自我注意力的计算。与主要关注基于卷积的尖峰计算的常规SNN加速器的单个尖峰输入设计相比，用于尖峰驱动的自我注意的专门模块在处理双尖峰输入的能力方面是独一无二的。通过专门利用激活的尖峰，我们的设计充分利用了尖峰驱动的变压器的稀疏性，从而减少了冗余操作，降低了功率组合并最大程度地减少了计算潜伏期。实验结果表明，与现有的SNNS加速器相比，我们的设计分别在吞吐量和能源效率方面可提高13.24×和1.33倍。索引术语 - 弹性神经元网络（SNNS），硬件加速器，Spike-drive Transformer。
在体内靶向肝癌与组织和核... 社论：理解和弥合神经形态计算与机器学习之间的差距 糖尿病内皮微型疾病和肺功能障碍 o r i g i n a l r e s a r c h osu-03012破坏了Akt信号，并防止子宫内膜癌在体外和体内 研究文章通过影响免疫浸润和浸润 o r i g i n a l r e s a r c h r c h血小板模拟药物递送纳米颗粒，用于增强乳腺癌的化学疗法治疗 将降压药用作癌症的共同疗法 针对人类和农场动物中病毒疾病的植物性疫苗 瑞典的冠状病毒战略：公共卫生机构和争议的地点 通过宿主的组合抑制人冠状病毒 抗体 - 药物结合疗法在头颈癌中的治疗潜力：系统评价 与帕金森氏病相关的药物重新利用策略
在通向人工通用智能（AGI）的道路上，已经探索了两种解决方案路径：神经科学驱动的神经形态计算，例如尖峰神经网络（SNNS）和计算机科学驱动的机器学习，例如人工神经网络（ANNS）。由于数据的可用性，高性能处理器，有效的学习算法以及易于使用的编程工具，ANN在许多智能应用程序中都取得了巨大的突破。最近，SNN由于其生物学的合理性和实现能量效率的可能性而引起了很多关注（Roy等，2019）。然而，与“标准” ANN相比，由于准确性较差，因此他们不在进行持续的辩论和怀疑中。性能差距来自多种因素，包括学习技术，基准测试，编程工具和执行硬件，SNN中所有这些都不像ANN域中的那样发达。为此，我们提出了一个研究主题，名为“理解和弥合神经形态计算和机器学习之间的差距”，在计算神经科学的神经科学和边界的边界，以收集有关神经形态计算的最新研究和机器学习，以帮助理解和弥合所提到的差距。我们总共收到了18份意见书，并最终接受了其中的14份。这些接受论文的范围涵盖了学习算法，应用程序和有效的硬件。
人工智能信号识别系统的FPGA实现
心脏病是全球最常见的死亡原因。因此，检测和分类心电图 (ECG) 信号对于延长预期寿命至关重要。在本研究中，我们旨在在现场可编程门阵列 (FPGA) 中实现人工智能信号识别系统，该系统可以在需要电池的边缘设备中识别生物信号模式，例如 ECG。尽管分类准确度有所提高，但深度学习模型需要大量的计算资源和功率，这使得深度神经网络的映射速度变慢，并且在可穿戴设备上的实现具有挑战性。为了克服这些限制，已经应用了脉冲神经网络 (SNN)。SNN 是受生物启发的事件驱动神经网络，使用离散脉冲计算和传输信息，这需要更少的操作和更简单的硬件资源。因此，与其他人工神经网络算法相比，它们更节能。
统一深度学习技术的优势
一种替代方法是使用一种称为神经形态计算的方法来精确模拟大脑，即人类已知的最有效的“计算机”。神经形态计算的性能源于其独特的组织结构。据《自然计算科学》杂志 [1] 上的一篇文章称，与高性能计算相比，它的性能提高了 1,000 倍，效率提高了 10,000 倍。其概念是在与所有其他细胞相连但并行运行的硬件电路中实现 ACH 脑细胞（即神经元）。这种计算类型的软件模型称为脉冲神经网络 (SNN)，这是一种人工神经网络，其灵感来自大脑中神经元的全有或全无通信方式。与使用连续值信号的传统神经网络相比，SNN 使用离散的二进制信号。
最初发表于：托马斯的Bohnstingl；苏里纳（Surina），安贾（Anja）； Fabre，Maxime； Demirag，Yigit；夏洛特的弗伦克尔； Payvand，Melika； Indiveri，Giacomo；裤子
摘要 - 急流尖峰神经网络（SNN）的灵感来自生物神经系统的工作原理，这些原理提供了独特的时间动态和基于事件的处理。最近，通过时间（BPTT）算法的错误反向传播已成功地训练了局部的SNN，其性能与复杂任务上的人工神经网络（ANN）相当。但是，BPTT对SNN的在线学习方案有严重的局限性，在该场景中，需要网络同时处理和从传入数据中学习。特别是，当BPTT分开推理和更新阶段时，它将需要存储所有神经元状态以及时计算重量更新。要解决这些基本问题，需要替代信贷分配计划。在这种情况下，SNN的神经形态硬件（NMHW）实现可以极大地利用内存计算（IMC）概念，这些概念（IMC）概念遵循记忆和处理的脑启发性搭配，进一步增强了他们的能量效率。在这项工作中，我们利用了与IMC兼容的生物学启发的本地和在线培训算法，该算法近似于BPTT，E-Prop，并提出了一种支持使用NMHW的经常性SNN推理和培训的方法。为此，我们将SNN权重嵌入了使用相位变更内存（PCM）设备的内存计算NMHW上，并将其集成到硬件中的训练设置中。索引术语 - 在线培训，尖峰神经网络，神经形态硬件，内存计算，相位变化内存我们使用基于PCM的仿真框架和由256x256 PCM Crossbar阵列的14NM CMOS技术制造的内存内计算核心组成的NMHW开发了模拟设备的精确度和瑕疵的方法。我们证明，即使对4位精确度也是强大的，并实现了32位实现的竞争性能，同时为SNN提供了在线培训功能，并利用了NMHW的加速收益。
HPCNeuroNet：利用变压器增强型脉冲神经网络推进神经形态音频信号处理
摘要 —本文提出了一种神经形态音频处理的新方法，将脉冲神经网络 (SNN)、Transformers 和高性能计算 (HPC) 的优势整合到 HPCNeuroNet 架构中。利用英特尔 N-DNS 数据集，我们展示了该系统处理多种语言和噪声背景下的不同人类声音录音的能力。我们方法的核心在于将 SNN 的时间动态与 Transformers 的注意机制相融合，使模型能够捕捉复杂的音频模式和关系。我们的架构 HPC-NeuroNet 采用短时傅里叶变换 (STFT) 进行时频表示，采用 Transformer 嵌入进行密集向量生成，采用 SNN 编码/解码机制进行脉冲序列转换。通过利用 NVIDIA 的 GeForce RTX 3060 GPU 和英特尔的 Core i9 12900H CPU 的计算能力，系统的性能得到进一步增强。此外，我们在 Xilinx VU37P HBM FPGA 平台上引入了硬件实现，针对能源效率和实时处理进行了优化。所提出的加速器在 100 MHz 下实现了 71.11 千兆操作每秒 (GOP/s) 的吞吐量，片上功耗为 3.55 W。与现成设备和最新最先进实现的比较结果表明，所提出的加速器在能源效率和设计灵活性方面具有明显优势。通过设计空间探索，我们提供了优化音频任务核心容量的见解。我们的发现强调了集成 SNN、Transformers 和 HPC 进行神经形态音频处理的变革潜力，为未来的研究和应用树立了新的标杆。