随着由深度学习 (DL) 支持的人工智能 (AI) 应用的快速增长,这些应用的能源效率对可持续性的影响越来越大。我们推出了 Smaragdine,一种使用 TensorFlow 实现的基于张量的 DL 程序的新型能源核算系统。Smaragdine 的核心是一种新颖的白盒能源核算方法:Smaragdine 能够感知 DL 程序的内部结构,我们称之为张量感知能源核算。借助 Smaragdine,DL 程序的能耗可以分解为与其逻辑层次分解结构一致的单元。我们应用 Smaragdine 来了解 BERT(最广泛使用的语言模型之一)的能源行为。Smaragdine 能够逐层、逐张地识别 BERT 中能耗/功耗最高的组件。此外,我们还对 Smaragdine 如何支持下游工具链构建进行了两个案例研究,一个是关于 BERT 超参数调整的比较能量影响,另一个是关于 BERT 进化到下一代 ALBERT 时的能量行为演变。
主要关键词