音调重音检测改善了预验证的自动语音识别

我们通过引入关节ASR和音高强调检测模型来提高使用半监督语音表示的自动语音识别(ASR)系统的性能。我们模型的音高重音检测部分可以在最新的任务上取得显着改善,从而使F1得分的差距缩小了41%。此外,在有限的资源微调下,联合培训中的ASR性能在Librispeech上降低了28.3%。通过这些结果,我们表明了延长预估计的重要性…

来源:Apple机器学习研究

我们通过引入关节ASR和音高强调检测模型来提高使用半监督语音表示的自动语音识别(ASR)系统的性能。我们模型的音高重音检测部分可以在最新的任务上取得显着改善,从而使F1得分的差距缩小了41%。此外,在有限的资源微调下,联合培训中的ASR性能在Librispeech上降低了28.3%。通过这些结果,我们表明了扩展验证的语音模型以保留或重新学习重要的韵律线索(例如音调口音)的重要性。