详细内容或原文请订阅后点击阅览
dicehubert：用自我监督的学习目标蒸馏出休伯特
我们介绍了Dicehubert，这是一种用于压缩Hubert的知识蒸馏框架，Hubert是一种广泛使用的自我监督学习（SSL）的语音基础模型。与依赖于层次和学生模型之间的特征映射的现有蒸馏方法不同，Dicehubert通过直接用学生模型直接替换原始模型来利用Hubert的迭代自我鉴定机制。这种替代品允许使用与培训前使用相同的SSL目标对学生进行培训，从而消除了对其他模块或建筑约束的需求……
来源:Apple机器学习研究我们介绍了Dicehubert，这是一种用于压缩Hubert的知识蒸馏框架，Hubert是一种广泛使用的自我监督学习（SSL）的语音基础模型。与依赖于层次和学生模型之间的特征映射的现有蒸馏方法不同，Dicehubert通过直接用学生模型直接替换原始模型来利用Hubert的迭代自我鉴定机制。这种替代品允许在预训练休伯特时使用相同的SSL目标对学生进行培训，从而消除了对其他模块或建筑约束的需求。 Superb的实验结果表明，Dicehubert始终胜过现有的蒸馏方法，将音素识别性能提高了21％，而ASR性能提高了14％以上。此外，Dicehubert在多个任务中表现出竞争性能，从而强调了其明显的优势。
- †Carnegie Mellon University‡Meta **在苹果公司完成的工作