直接来自神经信号的解码行为,感知或认知状态对于脑部计算机界面研究和系统神经科学的导入工具至关重要。在过去的十年中,深度学习已成为许多机器学习任务的最新方法,从语音识别到图像。深层网络在其他领域的成功导致了神经科学中的新应用。在本文中,我们回顾了神经解码的深度学习方法。我们描述了用于从峰值到fMRI的神经记录方式中提取有用特征的架构。此外,我们还介绍了如何利用深度学习来预测包括运动,言语和视觉的共同产量,重点是如何将预告片的深网纳入诸如声音或图像之类的复杂解码目标的先验。深度学习已被证明是提高各种任务中神经解码的准确性和灵活性的有用工具,我们指出了未来科学发展的领域。
摘要。目的:神经解码的进步使脑部计算机界面能够执行越来越复杂且与临床相关的任务。但是,这些解码器通常是针对特定参与者,天数和记录网站量身定制的,从而限制了其实际的长期使用。因此,一个基本的挑战是开发可以对汇总,多参与者数据进行稳固训练并推广到新参与者的神经解码器。方法:我们介绍了一个新的解码器HTNET,该解码器使用具有两个创新的卷积神经网络:(1)Hilbert Transform在数据驱动的频率下计算光谱功率,以及(2)将电极水平数据投射到预先确定的脑区域上的层。投影层与颅内皮质摄影(ECOG)进行了严格的应用,其中电极位置未标准化,并且在参与者之间差异很大。我们培训了HTNET,使用来自12名参与者中的11名的合并ECOG数据来解码ARM运动,并在看不见的ECOG或脑电图(EEG)参与者上测试了性能;随后对每个测试参与者进行了这些预告片的模型。主要结果:在对看不见的参与者进行测试时,HTNET的表现优于最先进的解码器,即使使用了不同的记录方式。通过对这些广泛的HTNET解码器进行研究,我们实现了最佳量身定制的解码器的性能,其中只有50个ECOG或20个EEG事件。我们还能够解释HTNET训练有素的重量,并证明其提取与生理相关的特征的能力。引人注目:通过将新参与者概括和记录方式,鲁棒处理电极放置的变化以及允许参与者使用最小数据的参与者进行调整,HTNET适用于与当前的现有状态解码的更广泛的新型新型解码应用程序相比。