机构名称：
¥ 1.0
精确的声道建模对于构建可解释语音处理和语言学的发音表征是必不可少的。然而，声道建模具有挑战性，因为许多内部发音器官被外部运动捕捉技术遮挡。实时磁共振成像 (RT-MRI) 可以测量语音过程中内部发音器官的精确运动，但由于标记方法耗时且计算成本高昂，MRI 的注释数据集大小有限。我们首先使用纯视觉分割方法为 RT-MRI 视频提出一种深度标记策略。然后，我们介绍一种使用音频来改进发声器官分割的多模态算法。我们共同为 MRI 视频分割中的声道建模设定了新的基准，并利用该基准为 75 位说话者的 RT-MRI 数据集发布了标签，将声道的带标签公共 RT-MRI 数据量增加了 9 倍以上。代码和数据集标签可在 rishiraij.github.io/multimodal-mri-avatar/ 找到。索引术语：发音语音、视听感知
用于声道建模的多模态分割
主要关键词
相关文件推荐
