机构名称：
¥ 3.0
言语神经假体有可能恢复瘫痪患者的交流能力，但自然的速度和表现力却难以实现 1 。在这里，我们使用临床试验中患有严重肢体和声音麻痹的参与者的言语皮层高密度表面记录，以实现跨三个互补的语音相关输出模式的高性能实时解码：文本、语音音频和面部化身动画。我们使用在参与者试图默说句子时收集的神经数据来训练和评估深度学习模型。对于文本，我们展示了准确而快速的大词汇解码，中位速度为每分钟 78 个单词，中位字错误率为 25%。对于语音音频，我们展示了清晰而快速的语音合成和根据参与者受伤前的声音进行的个性化设置。对于面部化身动画，我们展示了对虚拟口面运动的控制，以实现语音和非语音交流手势。解码器经过不到两周的训练就达到了高性能。我们的研究结果引入了一种多模式语音神经假体方法，该方法有望为重度瘫痪患者恢复完整的、具体化的交流能力。
用于语音解码和虚拟形象控制的高性能神经假体
主要关键词
相关文件推荐
