详细内容或原文请订阅后点击阅览
使用专用模型重新审视 ASR 纠错
语言模型在自动语音识别 (ASR) 中发挥着核心作用，但大多数方法依赖于纯文本模型，不知道 ASR 错误模式。最近，大型语言模型 (LLM) 已应用于 ASR 校正，但引入了延迟和幻觉问题。我们使用紧凑的 seq2seq 模型重新审视 ASR 纠错，该模型针对真实和合成音频的 ASR 错误进行训练。为了扩展训练，我们通过级联 TTS 和 ASR 构建合成语料库，发现匹配现实错误分布的多样性是关键。我们提出校正优先解码，其中校正......
来源:Apple机器学习研究语言模型在自动语音识别 (ASR) 中发挥着核心作用，但大多数方法依赖于纯文本模型，不知道 ASR 错误模式。最近，大型语言模型 (LLM) 已应用于 ASR 校正，但引入了延迟和幻觉问题。我们使用紧凑的 seq2seq 模型重新审视 ASR 纠错，该模型针对真实和合成音频的 ASR 错误进行训练。为了扩展训练，我们通过级联 TTS 和 ASR 构建合成语料库，发现匹配现实错误分布的多样性是关键。我们提出校正优先解码，其中校正模型生成使用 ASR 声学分数重新评分的候选者。我们的模型比 LLM 少 15 倍的参数，在 LibriSpeech 测试干净/其他上实现了 1.5/3.3% 的 WER，优于 LLM，跨 ASR 架构（CTC、Seq2seq、Transducer）和不同领域进行泛化，并在 LLM 难以解决的低错误情况下提供精确的校正。