Closing the Gap Between Text and Speech Understanding in LLMs
大型语言模型 (LLM) 可以进行调整，将其文本功能扩展到语音输入。然而，这些适应语音的法学硕士在语言理解任务上始终表现不佳，甚至低于基于文本的法学硕士，甚至级联管道。我们将这种缺陷称为文本-语音理解差距：相对于基于原始文本的 LLM 处理等效文本，当适应语音的 LLM 处理语音输入时观察到的性能下降。最近缩小这一差距的方法要么依赖文本语料库的大规模语音合成，但成本高昂且严重依赖……
