Loading...
机构名称:
¥ 1.0

摘要:受脑启发的计算机架构有助于嵌入式 AI 应用实现低功耗、低延迟的深度神经网络推理。硬件性能主要取决于推理过程中非零激活(即事件)的数量。因此,我们提出了一种新颖的事件抑制方法,称为 ELSE,该方法通过基于线的稀疏性探索来提高推理效率。具体而言,它利用激活图中相邻线之间的空间相关性来减少网络事件。与传统处理相比,ELSE 可将事件触发的计算量在各种网络架构中减少 3.14 ∼ 6.49 ×(用于对象检测)和 2.43 ∼ 5.75 ×(用于姿势估计)。此外,我们表明,将 ELSE 与其他事件抑制方法相结合可以显著提高空间抑制的计算节省量,或将时间抑制的状态内存占用量减少 2 × 以上。后者缓解了时间执行超出真实嵌入式平台资源限制的挑战。这些结果凸显了 ELSE 显著的事件抑制能力及其为 SOTA 方法提供补充性能增强的能力。

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理PDF文件第1页

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理PDF文件第2页

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理PDF文件第3页

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理PDF文件第4页

ELSE:通过基于行的稀疏性探索实现高效的深度神经网络推理PDF文件第5页

相关文件推荐

2024 年
¥1.0