机构名称：
¥ 2.0
动态神经网络 (NN) 可以在推理过程中使稀疏激活的子网络适应输入，与静态神经网络相比，它在准确性、计算效率和自适应性方面表现出了明显的优势。然而，现有的深度学习框架和编译器主要侧重于优化具有确定性执行的静态 NN，而错过了动态 NN 中激活分布不均匀所带来的优化机会。优化动态 NN 的关键在于跟踪数据在推理过程中如何动态地分派到不同路径。这种动态性通常发生在子张量级别（例如，张量的条件分派标记），因此由于表达粒度不一致，现有的以张量为中心的框架很难跟踪。在本文中，我们提出了 Brainstorm，一个用于优化动态 NN 的深度学习框架，它通过统一动态性的表达方式来弥补这一差距。 Brainstorm 提出（1）Cell，这是关键的数据抽象，可让模型开发人员表达存在动态的数据粒度；（2）Router，这是一个统一的接口，可让模型开发人员表达如何动态调度Cell。Brainstorm 处理路由操作的有效执行。这种设计使 Brainstorm 能够以正确的粒度收集细粒度数据流的配置文件。可追溯性进一步为动态 NN 开辟了新的动态优化空间，使其执行专门针对运行时动态分布。广泛的评估表明，通过提出的动态优化，Brainstorm 将流行的动态神经网络的加速提高了 11.7 倍（平均为 3.29 倍），或内存消耗减少了 42%。
使用头脑风暴优化动态神经网络
主要关键词
相关文件推荐
