本文探讨了在迁移学习应用中使用神经网络修剪来实现更高效的推理。目标是将神经网络集中并优化在较小的专门目标任务上。随着物联网的出现,我们看到基于人工智能的移动和嵌入式设备(如可穿戴设备和其他智能设备)的应用大幅增加。然而,随着机器学习算法的复杂性和能力不断增加,由于这些设备上资源有限,这种向边缘的推进带来了新的挑战。需要某种形式的压缩才能让最先进的卷积神经网络在边缘设备上运行。在这项工作中,我们调整了现有的神经网络修剪方法,使它们能够专门化网络,使其仅关注最初训练的子集。这是一个迁移学习用例,我们优化大型预训练网络。这与标准优化技术不同,它允许网络忘记某些概念,并使网络的占用空间更小。我们比较了不同的修剪标准,包括可解释人工智能 (XAI) 领域的标准,以确定哪种技术可以实现尽可能小的网络,同时保持目标任务的高性能。我们的结果显示了在嵌入式设备上执行神经网络时使用网络专业化的好处,无论是否使用 GPU 加速。
主要关键词