XiaoMi-AI文件搜索系统
World File Search System表示层
用生成模型对人类皮层刺激语音进行解码
从神经活动中解码听觉刺激可以实现神经假体和与大脑的直接通信。最近的一些研究表明，使用深度学习模型可以成功解码颅内记录中的语音。然而，训练数据的稀缺导致语音重建质量低下，从而阻碍了完整的脑机接口 (BCI) 应用。在这项工作中，我们提出了一种迁移学习方法，使用预先训练的 GAN 来解开表示层和生成层以进行解码。我们首先使用大量自然语音数据预训练一个生成器，以从表示空间生成频谱图。使用包含刺激语音和相应 ECoG 信号的少量配对数据，我们然后将其传输到更大的网络中，并在之前附加一个编码器，将神经信号映射到表示空间。为了进一步提高网络泛化能力，我们在传输阶段在潜在表示上引入了一个高斯先验分布正则化器。通过对每个测试对象最多 150 个训练样本，我们实现了最先进的解码性能。通过可视化嵌入在编码器中的注意力掩码，我们观察到的大脑动态与之前研究颞上回 (STG)、中央前回 (运动) 和额下回 (IFG) 动态的研究结果一致。我们的研究结果表明，使用深度学习网络的重建精度很高，并且有可能阐明认知任务期间不同大脑区域之间的相互作用。