The Role of Prosody in Spoken Question Answering
口语理解迄今为止的研究通常具有沉重的文本视角。大多数数据集源自文本，然后将其合成到语音中，大多数模型通常依赖于语音的自动转录。这损害了韵律 - 语音信号所携带的添加信息超出了单词本身的语音，并且很难单独从文本中恢复。在这项工作中，我们调查了韵律在口头问题回答中的作用。通过在SLUE-SQA-5数据集上隔离韵律和词汇信息，该信息由…
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
这篇论文被 EMNLP 2024 的第九届机器翻译会议 (WMT24) 接受。口语的韵律，包括重音、语调和节奏等特征，会显著影响底层语义，从而也会影响其文本翻译。尽管如此，韵律很少在语音到文本翻译 (S2TT) 系统的背景下进行研究。特别是，端到端 (E2E) 系统被认为非常适合韵律感知翻译，因为它们在做出翻译决策时可以直接访问语音信号，但……
Exploring Prediction Targets in Masked Pre-Training for Speech Foundation Models
语音基础模型，例如Hubert及其变体，在大量未标记的语音数据上进行了预训练，然后用于一系列下游任务。这些模型使用蒙版的预测目标，该模型学会了从未掩盖的上下文中预测有关掩盖输入段的信息。在此框架中的预测目标的选择会影响其在下游任务上的性能。例如，通过捕获韵律的目标进行预训练的模型学习适合与说话者相关的任务的表示形式，而那些预先训练的目标是捕获语音学的目标……
A Commander-in-Chief's Final Journey Led by Military Tradition
吉米·卡特总统是美国第 39 任总统，也是第一位入主白宫的美国海军学院毕业生，他的最后一次旅程以一场交织着佐治亚州平原小镇韵律的游行开始。
Может ли компьютер писать сонеты лучше Шекспира?
澳大利亚科学家与多伦多大学英语系专家合作开发了一种根据韵律和韵律规则写诗的算法。
