DiceHuBERT: Distilling HuBERT with a Self-Supervised Learning Objective
我们介绍了Dicehubert，这是一种用于压缩Hubert的知识蒸馏框架，Hubert是一种广泛使用的自我监督学习（SSL）的语音基础模型。与依赖于层次和学生模型之间的特征映射的现有蒸馏方法不同，Dicehubert通过直接用学生模型直接替换原始模型来利用Hubert的迭代自我鉴定机制。这种替代品允许使用与培训前使用相同的SSL目标对学生进行培训，从而消除了对其他模块或建筑约束的需求……
