机构名称：
¥ 1.0
摘要 - 诸如Vision Transformer和Bert之类的大型模型，由于其表现性能而引起了极大的关注。但是，它们广泛的计算要求导致了大量的功率和硬件资源消耗。脑启发的计算已成为低功率硬件实现的一种有希望的方法。在本文中，我们提出了用于尖峰驱动变压器的有效稀疏硬件加速器。我们首先设计了一种新颖的编码方法，该方法编码有效激活的位置信息并跳过非尖峰值。此方法使我们能够使用编码的尖峰来执行线性，最大化和尖峰驱动的自我注意力的计算。与主要关注基于卷积的尖峰计算的常规SNN加速器的单个尖峰输入设计相比，用于尖峰驱动的自我注意的专门模块在处理双尖峰输入的能力方面是独一无二的。通过专门利用激活的尖峰，我们的设计充分利用了尖峰驱动的变压器的稀疏性，从而减少了冗余操作，降低了功率组合并最大程度地减少了计算潜伏期。实验结果表明，与现有的SNNS加速器相比，我们的设计分别在吞吐量和能源效率方面可提高13.24×和1.33倍。索引术语 - 弹性神经元网络（SNNS），硬件加速器，Spike-drive Transformer。
Spike-dransventermer的有效稀疏硬件加速器
主要关键词
相关文件推荐
