Stylianos Bakas 1 , 2 , 3 stelios@cogitat.io Siegfried Ludwig 1 , 2 siegfried@cogitat.io Konstantinos Barmpas 1 , 2 ntinos@cogitat.io Mehdi Bahri 1 , 2 mehdi@cogitat.io Yannis Panagakis 1 , 2 , 4 yannis@cogitat.io Nikolaos Laskaris 1 , 2 , 3 nikos@cogitat.io Dimitrios A. Adamos 1 , 2 , 3 dimitrios@cogitat.io Stefanos Zafeiriou 1 , 2 stefanos@cogitat.io William C. Duong 5 , 6 wduong@dcscorp.com Stephen M. Gordon 5 , 6 sgordon@dcscorp.com 弗农·J·劳恩 (Vernon J. Lawhern) 6 vernon.j.lawhern.civ@army.mil Maciej ´ Sliwowski 7 , 8 , 9 maciej.sliwowski@opium.sh Vincent Rouanne 7 vincent.rouanne@gmail.com Piotr Tempczyk 9 , 10 piotr.tempczyk@opium.sh 1 Cogitat Ltd.,英国 2 智能行为理解小组,伦敦帝国理工学院,英国 3 塞萨洛尼基亚里士多德大学,希腊 4 雅典国立和卡波迪斯特里安大学,希腊 5 DCS 公司,弗吉尼亚州亚历山大,美国 6 人类研究与工程理事会,DEVCOM 陆军研究实验室,马里兰州阿伯丁试验场,美国 7 大学。格勒诺布尔阿尔卑斯大学,CEA,LETI,Clinatec,F-38000 格勒诺布尔,法国 8 巴黎萨克雷大学,CEA,List,F-91120,帕莱索,法国 9 波兰国家机器学习研究所 (OPIUM),华沙,波兰 10 deeptale.ai,波兰
Stylianos Bakas 1 , 2 , 3 stelios@cogitat.io Siegfried Ludwig 1 , 2 siegfried@cogitat.io Konstantinos Barmpas 1 , 2 ntinos@cogitat.io Mehdi Bahri 1 , 2 mehdi@cogitat.io Yannis Panagakis 1 , 2 , 4 yannis@cogitat.io Nikolaos Laskaris 1 , 2 , 3 nikos@cogitat.io Dimitrios A. Adamos 1 , 2 , 3 dimitrios@cogitat.io Stefanos Zafeiriou 1 , 2 stefanos@cogitat.io William C. Duong 5 , 6 wduong@dcscorp.com Stephen M. Gordon 5 , 6 sgordon@dcscorp.com 弗农·J·劳恩 (Vernon J. Lawhern) 6 vernon.j.lawhern.civ@army.mil Maciej ´ Sliwowski 7 , 8 , 9 maciej.sliwowski@opium.sh Vincent Rouanne 7 vincent.rouanne@gmail.com Piotr Tempczyk 9 , 10 piotr.tempczyk@opium.sh 1 Cogitat Ltd.,英国 2 智能行为理解小组,伦敦帝国理工学院,英国 3 塞萨洛尼基亚里士多德大学,希腊 4 雅典国立和卡波迪斯特里安大学,希腊 5 DCS 公司,弗吉尼亚州亚历山大,美国 6 人类研究与工程理事会,DEVCOM 陆军研究实验室,马里兰州阿伯丁试验场,美国 7 大学。格勒诺布尔阿尔卑斯大学,CEA,LETI,Clinatec,F-38000 格勒诺布尔,法国 8 巴黎萨克雷大学,CEA,List,F-91120,帕莱索,法国 9 波兰国家机器学习研究所 (OPIUM),华沙,波兰 10 deeptale.ai,波兰
摘要 — 深度学习是 BCI 解码的最新技术。然而,它非常耗费数据,训练解码器需要汇集来自多个来源的数据。来自不同来源的 EEG 数据由于负迁移而降低了解码性能 [1]。最近,迁移学习已被建议作为一种补救措施 [2],[3],并成为最近 BCI 竞赛(例如 BEETL [4])的主题,但在组合来自许多受试者的数据时存在两个复杂因素。首先,隐私得不到保护,因为高度个人化的大脑数据需要共享(并在日益严格的信息治理边界上复制)。此外,BCI 数据是从不同来源收集的,通常用于不同的 BCI 任务,这被认为限制了它们的可重用性。在这里,我们展示了一种联邦深度迁移学习技术,即基于我们之前的 SCSN [1] 工作的多数据集联邦分离-公共-分离网络 (MF-SCSN),它将隐私保护属性集成到深度迁移学习中以利用具有不同任务的数据集。该框架使用来自不同图像任务的不同源数据集来训练 BCI 解码器(例如,一些数据集包含手和脚,而另一些数据集包含单手和舌头等)。因此,通过引入隐私保护迁移学习技术,我们释放了现有 BCI 数据集的可重用性和可扩展性。我们在 NeurIPS 2021 BEETL 竞赛 BCI 任务上评估了我们的联合迁移学习方法。所提出的架构比基线解码器高出 3%。此外,与基线和其他迁移学习算法相比,我们的方法保护了来自不同数据中心的大脑数据的隐私。
构建用于 EEG 解码的独立于受试者的深度学习模型面临着跨不同数据集、受试者和记录会话的强协变量转移的挑战。我们解决这一困难的方法是使用简单的统计技术以及具有更多表示能力的可训练方法明确对齐深度学习模型各个层的特征分布。这与基于协方差的对齐方法 [1] 类似,后者通常用于黎曼流形上下文 [2]。本文提出的方法在 NeurIPS 会议 2 举办的 2021 年 EEG 迁移学习基准 (BEETL) 竞赛 1 中荣获第一名。竞赛的第一项任务是睡眠阶段分类,这需要将在年轻受试者身上训练的模型转移到对多名年龄较大的受试者进行推理,而无需个性化的校准数据,因此需要独立于受试者的模型。第二项任务需要将在一个或多个源运动想象数据集的受试者上训练的模型转移到两个目标数据集上进行推理,为多个测试对象提供一小组个性化校准数据。