图形神经网络已成为深度学习的专业分支,旨在解决对象之间成对的对象至关重要的问题。最新进步利用图形卷积神经网络在图结构中提取特征。尽管结果有希望,但由于稀疏特征,在资源利用效率低下的情况下,这些方法在现实世界应用中面临挑战。最近的研究从哺乳动物的大脑中吸收了吸收性,并采用尖峰神经网络来建模和学习图形结构。但是,这些副本仅限于传统的基于von Neumann的计算系统,这些计算系统仍然面临硬件效率低下。在这项研究中,我们提出了专为Loihi 2.我们使用熔岩贝叶斯优化优化网络参数,这是一种与神经形态计算体系结构兼容的新型超参数优化系统。我们展示了将神经形态贝叶斯优化与使用固定精确尖峰神经元进行引用图分类的方法相结合的性能优势。我们的结果证明了整数精确,Loihi 2兼容尖峰神经网络在执行引文图分类中具有与现有浮点实现相当的精度。
开发智能神经形态解决方案仍然是一项具有挑战性的任务。它需要对硬件的基本构建块有扎实的概念理解。除此之外,易于访问且用户友好的原型设计对于加快设计流程至关重要。我们基于神经网络模拟器 Brian 开发了一个开源 Loihi 模拟器,可以轻松将其纳入现有的模拟工作流程。我们在软件中演示了单个神经元和循环连接的脉冲神经网络的无错误 Loihi 模拟。我们还审查并实施了片上学习,由于随机舍入,存在合理的差异。这项工作提供了 Loihi 计算单元的连贯介绍,并介绍了一个新的、易于使用的 Loihi 原型设计包,旨在帮助简化新算法的概念化和部署。
人工智能领域的最新突破大大提升了我们对各种规模和各种形式的计算设备智能的需求。这种新智能包括数据中心的推荐系统、自动呼叫中心和游戏系统、自动驾驶汽车和机器人、与我们个人计算设备进行更直观和更具预测性的交互,以及能够立即应对紧急情况的智能城市和道路基础设施。与此同时,随着当今人工智能技术的成熟,人们逐渐意识到其局限性。虽然深度神经网络 (DNN) 表现出近乎无限的扩展能力来解决大问题,但这些收益是以计算能力和预先收集的数据为代价的。许多新兴的人工智能应用(尤其是那些必须在不可预测的现实环境中运行且受到功率、延迟和数据限制的应用)需要全新的方法。
开发智能神经形态解决方案仍然是一项艰巨的任务。它需要对硬件的基本构建块有扎实的概念理解。除此之外,易于访问且用户友好的原型设计对于加快设计流程至关重要。我们基于神经网络模拟器 Brian 开发了一个开源 Loihi 模拟器,可以轻松将其纳入现有的模拟工作流程。我们在软件中演示了单个神经元和循环连接的脉冲神经网络的无错误 Loihi 模拟。我们还审查并实施了片上学习,由于随机舍入,存在合理的差异。这项工作提供了 Loihi 计算单元的连贯介绍,并介绍了一个新的、易于使用的 Loihi 原型设计包,旨在帮助简化新算法的概念化和部署。
I. I n t r o d u c t i o n神经形态计算旨在理解和适应自然界中神经体系结构的基本属性,以发现一种新的计算机体系结构模型,该模型本来可以适合于大脑启发的计算类别,这些计算挑战了Von Neu-Mann模型。这些属性包括完全集成的记忆和计算,精细的并行性,普遍反馈和复发,大量的网络粉丝,低精度和随机计算以及通常与学习相关的持续适应过程。这些属性还包括稀疏,基于尖峰的互动,以中介分布式通信。这种尖峰神经网络(SNN)自然会通过以异步,事件驱动的方式进行操作,而偏爱非活性状态和低延迟处理来提供能量效率。从该诉讼中产生的计算的重新思考以意想不到的方式与相关领域相交,例如机器学习,深度学习,人工智能,计算科学和计算机架构。正如这项调查的结果所示,诸如Loihi之类的芯片及其支持的工作量不适合在一个精心设计的框中,至少不是当今已被充分了解的盒子。
