机构名称：
¥ 2.0
本文总结了从新兴领域应用于神经网络设计的原理和思想。特别是，我们专注于可以在其输入上有条件地将其计算图的一部分动态激活或去激活部分的神经网络。示例包括每个层内（例如，卷积过滤器中的通道）的动态选择，例如输入令牌，图层（或层集）和子模块。我们首先提供一种一般形式主义，以统一的方式描述这些技术。然后，我们介绍了这些原则的三个值得注意的实现：Experts（MOES）网络的混合物，令牌选择机制和早期诊断神经网络。本文旨在为这个不断发展的领域提供类似教程的介绍。为此，我们在效率，解释性和转移学习方面分析了这些模块化设计的好处，重点是从自动化科学发现到语义交流的新兴应用领域。
神经网络中的条件计算
主要关键词
相关文件推荐
