ReSSInt 旨在研究如何使用无声语音接口 (SSI) 帮助失去说话能力的人恢复交流。SSI 是一种设备,可以捕获在语音生成过程中产生的非声学生物信号,并使用它们来预测想要传达的信息。本项目将研究两种生物信号:代表驱动面部肌肉的电活动的肌电图 (EMG) 信号和通过植入大脑的侵入式电极捕获的侵入式脑电图 (iEEG) 神经信号。在可能影响人的声音的各种言语障碍中,ReSSInt 将解决两种特殊情况:(i) 全喉切除术后失声和 (ii) 神经退行性疾病和其他创伤性损伤,这些损伤可能会导致人瘫痪并最终无法说话。为了让这项技术真正造福这些人,该项目旨在生成质量合理的清晰语音。这将通过记录大型数据库和使用最先进的生成深度学习技术来解决。最后,该项目预见了不同的语音康复场景,这将为 SSI 带来创新的研究解决方案,并通过改善有言语障碍的人的生活对社会产生真正的影响。索引词:无声语音接口、脑到语音转换、EMG 到语音、语音合成、语音转换、深度神经网络。
主要关键词