机构名称：
¥ 2.0
摘要。目的：本研究探讨颅内电极捕获的神经信号的语音解码。大多数先前的研究只能处理 2D 网格上的电极（即脑皮层电图或 ECoG 阵列）和来自单个患者的数据。我们的目标是设计一个深度学习模型架构，可以同时适应表面（ECoG）和深度（立体定向 EEG 或 sEEG）电极。该架构应允许使用来自多个参与者的数据进行训练，这些参与者的电极位置变化很大，并且训练后的模型应该在训练期间未见过的参与者身上表现良好。方法：我们提出了一种名为 SwinTW 的新型基于变压器的模型架构，该架构可以利用任意位置的电极在皮层上的 3D 位置而不是它们在 2D 网格上的位置来处理它们。我们使用来自单个参与者的数据训练特定于主题的模型，并利用来自多个参与者的数据训练多患者模型。主要结果：仅使用低密度 8x8 ECoG 数据的受试者特定模型在 N=43 名参与者中实现了高解码皮尔逊相关系数与地面实况频谱图 (PCC=0.817)，优于我们之前的卷积 ResNet 模型和 3D Swin Transformer 模型。在每个参与者 (N=39) 中加入额外的条带、深度和网格电极可带来进一步的改进 (PCC=0.838)。对于只有 sEEG 电极的参与者 (N=9)，受试者特定模型仍然具有可比的性能，平均 PCC=0.798。多受试者模型在看不见的参与者身上实现了高性能，在留一交叉验证中平均 PCC=0.765。意义：提出的 SwinTW 解码器使未来的语音神经假体能够利用任何对特定参与者来说临床上最佳或可行的电极位置，包括仅使用更常规的深度电极
基于主题无关变压器的神经语音解码，从表面和深度电极信号进行解码
主要关键词
相关文件推荐
