Meta 开发了一种可以将大脑活动转化为语音的 AI 模型
根据大脑活动解码语音一直是神经科学家和临床医生长期以来的目标。 如今，Meta 正在研究一种人工智能模型，该模型可以从非侵入性大脑活动记录中解码语音，以帮助脑外伤患者。
来源:QudataMeta 开发了一种可以将大脑活动转换为语音的 AI 模型
该公司分享了其关于一种 AI 模型的研究，该模型可以从非侵入性大脑活动记录中解码语音。它有可能帮助遭受创伤性脑损伤的人，这种损伤使他们无法通过语音、打字或手势进行交流。
根据大脑活动解码语音一直是神经科学家和临床医生的长期目标，但大部分进展都依赖于侵入性脑记录技术，例如立体定向脑电图和皮层脑电图。
同时，Meta 的研究人员认为，通过非侵入性方法转换语音将提供更安全、更具可扩展性的解决方案，最终可以使更多人受益。因此，他们创建了一个用对比学习训练的深度学习模型，然后用它来对齐非侵入性脑记录和语音。
为此，科学家使用开源的自监督学习模型 wave2vec 2.0 来识别志愿者在听有声读物时大脑中复杂的语音表征。
wave2vec 2.0该过程包括将脑电图和脑磁图记录输入“大脑”模型，该模型由具有残差连接的标准深度卷积网络组成。 然后，创建的架构学习将此大脑模型的输出与呈现给参与者的语音的深度表示对齐。
经过训练后，系统执行所谓的零样本分类：通过大脑活动的片段，它可以从大量新音频文件中确定该人实际听到了哪一个。
在此处了解有关研究的更多信息
此处