机构名称：
¥ 1.0
深度神经网络越来越大，因此更难在受限的物联网设备上部署。拆分计算提供了一种解决方案，即拆分网络并将前几层放置在物联网设备上。这些层的输出被传输到云端，然后继续进行推理。早期的研究表明中间激活输出具有一定程度的高稀疏性，本文分析并利用激活稀疏性来减少将中间数据传输到云端时的网络通信开销。具体来说，我们分析了 CIFAR-10 和 ImageNet 上 ResNet-50 中两个早期层的中间激活，重点关注稀疏性以指导选择分割点的过程。我们对激活和特征图进行了动态修剪，发现稀疏性非常依赖于层的大小，权重与卷积层中的激活稀疏性无关。此外，我们表明，稀疏中间输出可以压缩 3.3 倍，准确度损失 1.1%，无需任何微调。当添加微调时，压缩系数增加到 14 倍，总体准确度损失为 1%。
边缘 AI 中分割计算的激活稀疏性和动态修剪
主要关键词
相关文件推荐
