XiaoMi-AI文件搜索系统
World File Search SystemSNN
用于检测术中ECOG中高频振荡（HFO）的尖峰神经网络（SNN）
要获得癫痫发作的自由，癫痫手术需要完全切除癫痫脑组织。在术中电视学（ECOG）记录中，癫痫组织产生的高频振荡（HFO）可用于量身定制切除缘。但是，实时自动检测HFO仍然是一个开放的挑战。在这里，我们提出了一个尖峰神经网络（SNN），用于自动HFO检测，最适合神经形态硬件实现。我们使用独立标记的数据集（58分钟，16个记录），训练了SNN，以检测从术中ECOG测量的HFO信号。我们针对快速连锁频率范围（250-500 Hz）中HFO的检测，并将网络结果与标记的HFO数据进行了比较。我们赋予了SNN新型的伪影排斥机制，以抑制尖锐的瞬变并证明其在ECOG数据集中的有效性。该SNN检测到的HFO速率（中位数为6.6 HFO/ min）与数据集中发布的HFO率（Spearman'sρ= 0.81）相当。所有8例患者的术后癫痫发作结果被“预测”为100％（CI [63 100％]）的精度。这些结果为建造实时便携式电池式HFO检测系统提供了进一步的一步，该检测系统可在癫痫手术期间使用，以指导癫痫发作区的切除。
一种可调且多功能的 28nm FD-SOI 交叉输出电路，用于通过 eNVM 突触进行低功耗模拟 SNN 推理
关键词；UTBB 28nm FD-SOI、模拟 SNN、模拟 eNVM、eNVM 集成。2. 简介基于新兴非易失性存储器 (eNVM) 交叉开关的脉冲神经网络 (SNN) 是一种很有前途的内存计算组件，在边缘低功耗人工智能方面表现出卓越的能力。然而，eNVM 突触阵列与 28nm 超薄体和埋氧全耗尽绝缘体上硅 (UTBB-FDSOI) 技术节点的共同集成仍然是一个挑战。在模拟脉冲神经网络 (SNN) 中，输入神经元通过一电阻一晶体管 (1T1R) 突触与输出神经元互连，计算是通过突触权重将电压尖峰转换为电流来完成的 [1]。神经元将尖峰积累到预定义的阈值，然后产生输出尖峰。神经元区分和容纳大量突触和输入脉冲的能力与神经元放电阈值的电压摆幅直接相关。这主要取决于膜电容、突触电荷的净数量和低功率神经元的阈值 [2]。
BRAINGPT：一个受大脑启发的基于 SNN 的大型
基于人工神经网络 (ANN) 的大型语言模型 (LLM) 表现出色，但在计算效率和生物可解释性方面面临挑战。我们提出了 BrainGPT，这是一种基于测试时间训练 (TTT) 框架并受到脉冲神经网络 (SNN) 和神经生物学原理启发的新型 LLM 架构。我们的方法采用双模型结构，模拟人脑中观察到的分层语言处理，并利用具有自适应阈值的专门积分和激发神经元模型。通过多阶段训练策略，包括量化感知预训练、ANN 到 SNN 的转换和受生物启发的无监督学习，我们实现了从 ANN 到 SNN 的数学证明的无损转换，保留了 100% 的原始 ANN 模型的性能。此外，受生物启发的无监督学习优化了维持 100% ANN 性能所需的最大时间步骤。与原始 TTT 模型相比，BrainGPT 的能源效率提高了 33.4%，训练收敛速度提高了 66.7%。这项工作推动了节能且可生物解释的大型语言模型的开发，这些模型的性能可与最先进的基于 ANN 的模型相媲美，同时显著改进了 TTT 框架。
具有生物拟合的SNN模型的时间学习
这项工作旨在比较这三种SNN模型的模型保真度和学习绩效。用于体外生活神经网络的实验数据用于首先拟合这三个模型的参数。一种自动拟合工具用于匹配体外神经元和建模神经元的精确尖峰时序。alif和Adex可以比LIF更好地与生物神经元的尖峰时间匹配。然后将拟合模型在延迟任务上进行比较，在延迟任务中，网络需要输出最近输入网络中的值。为了计算延迟任务，使用神经工程框架（NEF）来实现Legendre内存单元。使用ALIF在延迟任务上证明了良好的性能，这表明在体外生活神经网络上实施算法的可能性。这项工作提出了一个新的神经元参数拟合
博士奖学金：利用近似计算增强联邦脉冲神经网络 (SNN) 以实现可穿戴健康监测
脉冲神经网络 (SNN) 的固有效率使其成为可穿戴健康监测的理想选择。SNN 通过事件驱动处理和稀疏激活进行操作，与传统 CNN 相比，功耗更低。这种节能方法与可穿戴设备的限制非常吻合，可确保长时间使用并最大程度地降低对用户体验的影响。另一种降低可穿戴健康监测 SNN 功耗的技术是近似计算。这种方法使资源受限的可穿戴设备能够实现计算效率，从而提高健康监测设备的使用寿命和可用性。
ISNNM-2024
第十八届国际新型纳米材料研讨会（ISNNM）将重点关注先进材料加工、先进粉末冶金、增材制造和印刷技术、计算机辅助材料工程、能源和环境材料、电磁材料、稀有金属和回收、难熔金属和硬质材料、纳米陶瓷等材料研究。将涵盖这些材料的所有主要方面，包括合成、机理、微观结构、性能和应用。研讨会将提供材料领域中令人兴奋且快速发展的最新研究成果和最新技术概述，并邀请国际知名科学家就这些主题发表演讲。欢迎制造商的投稿和展品，以促进科学家和工业界之间的进一步互动。热忱欢迎以口头或海报报告形式注册和投稿，研讨会对所有人开放。入选论文将在同行评审后发表在 SCI 期刊上。
SNN真的能节能吗？ - 硬件透视
摘要 - 迅速的神经网络（SNN）已获得了能源有效的机器学习能力，利用生物启发的激活功能和稀疏的二进制峰值数据表示。虽然最近的SNN算法进步在大规模的计算机视觉任务上达到了高度准确性，但其能源效率主张依赖于某些不切实际的估计指标。这项工作研究了两个硬件基准平台，用于大规模SNN推断，即SATA和Spikesim。SATA是一种稀疏感应的收缩阵列加速器，而Spikesim评估基于内存计算（IMC）的模拟横杆实现的SNN。使用这些工具，我们发现，由于各种硬件瓶颈，最近的SNN算法工作的实际能效提高与它们的估计值有很大差异。我们识别并解决了在硬件上有效的SNN部署的关键障碍，包括在时间段上的重复计算和数据移动，神经元模块开销和SNN易受跨键bar非理想性的脆弱性。
尖峰还是不钉？ SNN和CNN FPGA实现的定量比较
卷积神经网络（CNN）被广泛用于解决各种问题，例如图像分类。由于其计算和数据密集型性质，CNN加速器已被开发为ASIC或FPGA。应用程序的复杂性增加导致这些加速器的资源成本和能源需求增长。尖峰神经网络（SNN）是CNN实施的新兴替代品，有望提高资源和能源效率。本文解决的主要研究问题是，与CNN等效物相比，SNN加速器是否真正满足了能源需求减少的期望。为此，我们分析了多个SNN硬件加速器的FPGA，以涉及性能和能源效率。我们提出了一种新颖的尖峰事件队列编码方案和一种新型的记忆组织技术，以进一步提高SNN能源效率。这两种技术都已经融入了最先进的SNN体系结构，并对MNIST，SVHN和CIFAR-10数据集进行了评估，以及两个不同尺寸的现代FPGA平台上的相应网络体系结构。对于小型基准（例如MNEST），SNN设计与相应的CNN实施相比，没有相当或很少的延迟和能源效率优势。对于更复杂的基准测试，例如SVHN和CIFAR-10，趋势逆转。
ESL-SNNS：尖峰神经网络的进化结构学习策略
尖峰神经网络（SNN）在推理过程中在功耗和事件驱动的属性方面具有显着优势。为了充分利用低功耗并提高了这些模型的效率，已经探索了修剪方法，以找到稀疏的SNN，而无需在训练后没有冗余连接。但是，参数冗余仍然会阻碍训练过程中SNN的效率。在人脑中，神经网络的重新布线过程是高度动态的，而突触连接在脑部消除过程中保持相对较少。受到此启发，我们在这里提出了一个名为ESL-SNNS的SNN的有效进化结构学习（ESL）框架，以实现从头开始实施稀疏的SNN训练。SNN中突触连接的修剪和再生在学习过程中动态发展，但将结构稀疏保持在一定水平。因此，ESL-SNN可以通过在时间上列出所有可能的参数来搜索最佳的稀疏连接。我们的实验表明，所提出的ESL-SNNS框架能够有效地学习稀疏结构的SNN，同时降低有限的精度。ESL-SNN仅达到0。在DVS-CIFAR10数据集上具有10％连接密度的28％抗性损失。我们的工作提出了一种全新的方法，可以通过生物学上合理的进化机制对SNN进行稀疏训练，从而缩小了稀疏训练和密集培训之间的明确攻击差距。因此，它具有SNN轻量级训练和低功耗和少量记忆使用情况的巨大潜力。
LaSNN：分层 ANN 到 SNN 提炼，用于深度脉冲神经网络的有效和高效训练
摘要 —脉冲神经网络 (SNN) 具有生物现实性，且由于其事件驱动机制而在低功耗计算方面具有实际应用前景。通常，SNN 的训练会在各种任务上遭受准确度损失，其性能不如 ANN。提出了一种转换方案，通过将训练好的 ANN 参数映射到具有相同结构的 SNN 来获得具有竞争力的准确度。然而，这些转换后的 SNN 需要大量的时间步骤，从而失去了节能优势。利用 ANN 的准确度优势和 SNN 的计算效率，提出了一种新颖的 SNN 训练框架，即逐层 ANN 到 SNN 知识提炼 (LaSNN)。为了实现具有竞争力的准确度和减少推理延迟，LaSNN 通过提炼知识而不是转换 ANN 的参数将学习从训练有素的 ANN 转移到小型 SNN。通过引入注意力机制，我们弥合了异构 ANN 和 SNN 之间的信息鸿沟，利用我们的分层蒸馏范式有效地压缩了 ANN 中的知识，然后有效地传输这些知识。我们进行了详细的实验，以证明 LaSNN 在三个基准数据集（CIFAR-10、CIFAR-100 和 Tiny ImageNet）上的有效性、功效和可扩展性。与 ANN 相比，我们实现了具有竞争力的 top-1 准确率，并且推理速度比具有类似性能的转换后的 SNN 快 20 倍。更重要的是，LaSNN 灵活且可扩展，可以毫不费力地为具有不同架构/深度和输入编码方法的 SNN 开发，从而促进其潜在发展。