详细内容或原文请订阅后点击阅览
韵律在口语中的作用回答
口语理解迄今为止的研究通常具有沉重的文本视角。大多数数据集源自文本，然后将其合成到语音中，大多数模型通常依赖于语音的自动转录。这损害了韵律 - 语音信号所携带的添加信息超出了单词本身的语音，并且很难单独从文本中恢复。在这项工作中，我们调查了韵律在口头问题回答中的作用。通过在SLUE-SQA-5数据集上隔离韵律和词汇信息，该信息由…
来源:Apple机器学习研究口语理解迄今为止的研究通常具有沉重的文本视角。大多数数据集源自文本，然后将其合成到语音中，大多数模型通常依赖于语音的自动转录。这损害了韵律 - 语音信号所携带的添加信息超出了单词本身的语音，并且很难单独从文本中恢复。在这项工作中，我们调查了韵律在口头问题回答中的作用。通过隔离由自然语音组成的SLUE-SQA-5数据集上的韵律和词汇信息，我们证明，仅对韵律信息培训的模型可以通过使用韵律提示来很好地表现。但是，我们发现，当有词汇信息可用时，模型倾向于主要依靠它。我们的发现表明，虽然韵律提示提供了有价值的补充信息，但需要更有效的整合方法来确保韵律与词汇特征并肩作用更大。