Gumbel

使用 Gumbel-softmax 实现深度神经网络的端到端可学习 EEG 通道选择

摘要 — 目的。为深度神经网络开发一种高效的嵌入式脑电图 (EEG) 通道选择方法，使我们能够将通道选择与目标模型相匹配，同时避免与神经网络结合使用包装器方法所带来的巨大计算负担。方法。我们采用一个具体的选择器层来联合优化 EEG 通道选择和网络参数。该层使用 Gumbel-softmax 技巧来构建选择过程中涉及的离散参数的连续松弛，从而允许以传统反向传播的方式端到端地学习它们。由于经常观察到选择层在某个选择中包含两次相同的通道，我们提出了一个正则化函数来缓解这种行为。我们在两个不同的 EEG 任务上验证了这种方法：运动执行和听觉注意解码。对于每个任务，我们将 Gumbel-softmax 方法的性能与针对此特定任务量身定制的基线 EEG 通道选择方法进行比较：分别使用效用度量的互信息和贪婪前向选择。主要结果。我们的实验表明，所提出的框架具有普遍适用性，同时其性能至少与这些最先进的、针对特定任务的方法一样好（通常更好）。意义。所提出的方法提供了一种有效的、独立于任务和模型的方法来联合学习最佳 EEG 通道以及神经网络权重。