机构名称：
¥ 1.0
用于半分割的大多数现有知识蒸馏方法着重于从原始特征中提取各种复杂知识。但是，这种知识通常是手动设计的，并且像传统功能工程一样依赖于先前的知识。在本文中，我们旨在提出一种使用RAW功能的简单有效的功能蒸馏方法。为此，我们重新审视了功能蒸馏中的开创性工作，Fitnets可以将平方误差（MSE）损失（MSE）损失最小化。我们的实验表明，在某些情况下，这种幼稚的方法可以产生良好的结果，甚至超过了一些精心设计的方法。但是，它需要仔细调整蒸馏损失的重量。通过将fitnets的损失函数分解为差异项和角度差项，我们发现角度差异项的重量受教师特征和学生特征的幅度的影响。我们通过实验表明，角度差异项在特征蒸馏中起着至关重要的作用，而不同模型产生的特征的大小可能会有很大变化。因此，很难确定各种模型的适合减肥体重。为了避免角度蒸馏术语的重量受到特征的影响，我们提出了角度蒸馏，并探索沿不同效率尺寸的蒸馏角度信息，以进行语义分割。广泛的例子表明，我们的简单方法对超级参数表现出极大的效果，并实现了语义细分的最先进的蒸馏性能。
用原始特征重新思考知识蒸馏
主要关键词
相关文件推荐
