本文提出了一个框架,以实现边缘设备上卷积神经网络 (CNN) 的节能执行。该框架由一对通过无线网络连接的边缘设备组成:性能和能耗受限的设备 D 作为数据的第一个接收者,能耗不受约束的设备 N 作为 D 的加速器。设备 D 动态决定如何分配工作负载,以尽量减少其能耗,同时考虑到网络延迟固有的不确定性和数据传输所涉及的开销。这些挑战通过采用马尔可夫决策过程 (MDP) 的数据驱动建模框架来解决,其中 D 在 O(1) 时间内查阅最优策略来做出逐层分配决策。作为一个特例,还提出了一种线性时间动态规划算法,用于在假设网络延迟在整个应用程序执行过程中保持不变的情况下一次性找到最佳层分配。所提出的框架在由 Raspberry PI 3 作为 D 和 NVIDIA Jetson TX2 作为 N 组成的平台上进行了演示。与完全在 D 和 N 上执行 CNN 的替代方案相比,能耗平均降低了 31% 和 23%。还实施了两种最先进的方法,并与所提出的方法进行了比较。
主要关键词