在大脑中,信号的事件驱动性质和以尖峰信号形式编码的信息允许以很少的能量执行巨大的数据处理过程。因此,神经网络研究正在发展为接近生物学模型。很长一段时间以来,将通过基于尖峰的计算模型来实现神经网络的未来。在尖峰神经网络中,信息在尖峰信号中编码。将信息作为尖峰列车保留,可以像标准的计算机体系结构一样以二进制形式表示信息,但以时间依赖的方式表示。这降低了信息的传输和处理成本。出于所有这些原因,峰值计算模型的计算和能量效率高于前几代。
由于它们在带宽,功率效率(尤其是速度)方面具有显着优势,因此已经成为传统半导体设备的有趣替代品。最近,首先证明了具有激发行为的晶体晶体纳米剂。根据泵送强度,它们在纳秒时间尺度上以各个间隔发出短的光学脉冲(尖峰)。在这项理论工作中,我们展示了如何通过从学习的概率分布中采样来将这种光子尖峰神经元的网络用于贝叶斯推断。我们提供了从传统采样网络(例如Boltzmann机器)到光子尖峰网络的翻译规则的详细推导,并在一系列具有一系列的任务中演示了它们的功能。最后,我们提供了处理速度和功耗的估计,我们预计与当前最新神经形态系统相比,我们预计几个数量级。
5参考:https://www.the-scientist.com/infographics/infographic-undercanding-ounderding-our-diverse-brain-30678图来源:Shen,G.,G.,Zhao,D.,Dong,Dong,Y.潜入神经元异质性的力量。ARXIV预印ARXIV:2305.11484。
摘要 - 传统的人工神经网络从生物网络中汲取灵感,使用神经元的节点层来传递信息进行处理。更现实的模型包括在神经网络中的尖峰,更贴近捕获电气特性。然而,很大一部分脑细胞是神经胶质细胞类型的,特别是星形胶质细胞被认为在执行计算中起作用。在这里,我们介绍了一个修改后的尖峰神经网络模型,并在神经网络中具有添加类似星形胶质细胞的单元,并评估它们对学习的影响。我们将网络作为液态机器实现,并任务网络执行混乱的时间序列预测任务。我们改变了网络中类似神经元和星形胶质细胞样单元的数量和比率,以检查后一种单元对学习的影响。我们表明,与神经和星形细胞网络相反,神经元和星形胶质细胞的结合对于推动学习至关重要。有趣的是,我们发现当类似星形胶质细胞样和神经元的单位之间的比率大约为2:1时,达到了最高的学习率,这反映了生物星形胶质细胞与神经元比率的一些估计值。我们的结果表明,在跨时间范围内代表信息的类似星形胶质细胞样单元可以改变神经网络的学习率,并且应将星形胶质细胞与神经元的比例适当地调整为给定的任务。
摘要:从大脑中汲取灵感,已经提出了尖峰神经网络(SNN)来理解和减少机器学习和神经形态计算之间的差距。超级学习是传统ANN中最常用的学习算法。然而,由于尖峰神经元的不连续和非差异性质,直接使用基于反向传播的监督学习方法培训SNN具有挑战性。为了克服这些问题,本文提出了一种新颖的基于元疗法的监督学习方法,以适应时间误差函数。我们研究了七种称为Harmony Search(HS),杜鹃搜索(CS),差异进化(DE),粒子群优化(PSO),遗传算法(GA),人工BEE COLONY(ABC)和语法进化方法的遗传算法(GA),遗传算法(GA),遗传算法优化(GA),遗传算法优化(GA),遗传算法优化(GA),用于携带网络培训的搜索方法。使用相对目标频率时间而不是固定和预定的时间,使误差函数的计算更加简单。使用UCI机器学习存储库中收集的五个基准数据库评估了我们所提出的方法的表现。实验结果表明,与其他实验算法相比,该提议的算法在解决四个分类基准数据集方面具有竞争优势,其准确率为0.9858、0.9768、0.77752,而IRIS,癌症,糖尿病,糖尿病和0.6871的精度为0.9858、0.9768、0.77752和0.6871。在七种元启发式算法中,CS报告了最佳性能。
新兴的非易失性存储设备,即忆阻器,在神经形态硬件设计中展现出了非凡的前景,特别是在脉冲神经网络 (SNN) 硬件实现中。基于忆阻器的 SNN 已经应用于解决传统人工神经网络 (ANN) 解决的任务(例如图像分类和模式识别),并且不同学科仍在进行更多尝试以挖掘这一新研究课题的潜力。要将忆阻器应用于神经形态应用(本文中严格定义为使用 SNN 的应用),可以遵循两种途径。一种方法是首先利用硬件基础设施来表征和控制忆阻器设备,然后将其映射到应用程序的更高级函数(例如矩阵乘法)。另一种方法是将数据驱动的忆阻器模型嵌入软件模拟器中,以使用从真实设备中提取的参数来模拟应用程序。
1 机器人、人工智能与实时系统,慕尼黑工业大学信息学院,德国慕尼黑,2 于利希超级计算中心 (JSC) 神经科学模拟与数据实验室,高级模拟研究所,JARA,于利希研究中心有限公司,德国于利希,3 瑞士国家超级计算中心 (CSCS),苏黎世联邦理工学院,瑞士卢加诺,4 神经计算单元,冲绳科学技术研究生院,日本冲绳,5 机器人与人工智能卓越系,生物机器人研究所,Scuola Superiore Sant'Anna,意大利蓬泰代拉,6 计算机架构与技术系,格拉纳达大学信息与通信技术研究中心,西班牙格拉纳达,7 图像处理研究团队,日本理化学研究所先进光子学中心,和光,8 计算工程应用单元,信息系统与网络安全总部,理化学研究所,日本和光市、9 日本东京电气通信大学信息与工程研究生院、10 德国于利希研究中心、神经科学与医学研究所 (INM-6)、高级模拟研究所 (IAS-6)、JARA BRAIN 研究所 I、11 德国亚琛工业大学计算机科学 3-软件工程、12 日本神户理化学研究所计算科学中心
脉冲神经网络 (SNN) 是神经形态计算的一个分支,目前在神经科学应用中用于理解和建模生物大脑。SNN 还可能用于许多其他应用领域,例如分类、模式识别和自主控制。这项工作提出了一个高度可扩展的硬件平台 POETS,并使用它在大量并行和可重构的 FPGA 处理器上实现 SNN。当前系统由 48 个 FPGA 组成,提供 3072 个处理核心和 49152 个线程。我们使用该硬件实现了多达四百万个神经元和一千个突触。与其他类似平台的比较表明,当前的 POETS 系统比 Brian 模拟器快二十倍,比 SpiNNaker 快至少两倍。
摘要:脑机接口 (BMI) 代表着一种变革性技术,可实现人脑与外部设备之间的直接交互。在各种 BMI 方法中,脉冲神经网络 (SNN) 因其能够有效模仿大脑的脉冲行为而脱颖而出。本文介绍了一种先进硬件架构的设计和实现,该架构能够在现场可编程门阵列 (FPGA) 上执行与脑电图 (EEG) 采集系统集成的 SNN 计算。首先使用四层将数据预处理成数组以进行特征提取。该模型在软件中训练,存储权重和参数,然后用于创建硬件模型并生成比特流文件。Python 覆盖连接软件和硬件,允许输出模拟以进行精度计算。
摘要 — 脉冲神经网络 (SNN) 是一种生物学上合理的模型,具有高计算能力和低功耗的优点。而深度 SNN 的训练仍然是一个悬而未决的问题,这限制了深度 SNN 的实际应用。在这里,我们提出了一种名为 Spiking SiamFC++ 的深度 SNN 架构,用于通过端到端直接训练进行对象跟踪。具体而言,在时间域上扩展 AlexNet 网络以提取特征,并采用代理梯度函数实现深度 SNN 的直接监督训练。为了检查 Spiking SiamFC++ 的性能,考虑了几个跟踪基准,包括 OTB2013、OTB2015、VOT2015、VOT2016 和 UAV123。发现与原始 SiamFC++ 相比,精度损失很小。与现有的基于 SNN 的目标跟踪器(例如 SiamSNN)相比,所提出的 Spiking SiamFC++ 的精度(连续性)达到 85.24%(64.37%),远高于 SiamSNN 实现的 52.78%(44.32%)。据我们所知,Spiking SiamFC++ 的性能优于现有的基于 SNN 的对象跟踪的先进方法,这为 SNN 在目标跟踪领域的应用提供了一条新途径。这项工作可能会进一步促进 SNN 算法和神经形态芯片的发展。
