视觉模型(VLM)的在线测试时间适应(OTTA)最近引起了人们的注意,以利用沿流观察到的数据,以改善未来的预测。不幸的是,现有方法依赖于数据集特异性的超参数,从而大大限制了它们对看不见的任务的适应性。为了响应,我们提出了在线高斯适应(OGA),这是一种新颖的方法,该方法使用高斯分布来对视觉特征的可能性进行建模,并将零摄影先验纳入可启动的最大a后验(MAP)估计框架中,并与所有数据集中的固定超参数一起使用。我们证明,在大多数数据集和运行中,OGA优于最先进的方法。此外,我们表明,将OTTA与流行的几弹技术结合起来(一种实用但被忽视的先前研究环境)是非常有益的。此外,我们的实验研究表明,由于所有OTTA方法在运行中观察到的实质性可变性,常见的OTTA评估方案的平均性能在每个数据集中最多要超过三个。因此,我们主张更多的索式评估实践,包括增加运行的数量和考虑其他定量指标,例如我们提出的预期尾巴准确性(ETA),计算为最差10%的运行中的平均准确性。我们希望这些贡献将鼓励OTTA社区中更严格,更多样化的评估实践。代码可在https://github.com/cfuchs2023/oga上找到。
摘要 — 脑机接口 (BCI) 为连接人脑和外部设备提供了一条有前途的途径,其解码能力取得了显著进步,这主要得益于日益复杂的技术,尤其是深度学习。然而,由于会话和受试者之间的分布变化,在现实场景中实现高精度仍然是一个挑战。在本文中,我们将探讨在线测试时间自适应 (OTTA) 的概念,以在推理时间内以无监督的方式持续调整模型。我们的方法通过消除在自适应过程中访问源数据的要求来保证隐私的保护。此外,OTTA 通过不需要任何会话或受试者特定的数据来实现无校准操作。我们将使用轻量级架构以及不同的 OTTA 技术(如对齐、自适应批量归一化和熵最小化)来研究脑电图 (EEG) 运动意象解码任务。我们检查了两个数据集和三个不同的数据设置以进行全面分析。我们的适应方法产生了最先进的结果,有可能促使 BCI 解码的迁移学习转向在线适应。索引术语 —BCI、深度学习、跨学科、迁移学习、运动意象、EEG、测试时间适应
摘要 — 本研究调查了在涉及大型用户组和每个参与者多个会话的因果环境中在线纵向脑电图 (EEG) 运动想象 (MI) 解码中深度学习的持续微调策略。我们是第一个在大型用户组中探索此类策略的人,因为纵向适应通常是在单个受试者环境中使用单一适应策略进行研究的,这限制了推广研究结果的能力。首先,我们研究了不同的微调方法对解码器性能和稳定性的影响。在此基础上,我们集成了在线测试时间适应 (OTTA) 以在部署期间调整模型,补充了先前微调的效果。我们的研究结果表明,基于先前特定于主题的信息连续进行的微调可以提高性能和稳定性,而 OTTA 可以有效地使模型适应连续会话中不断变化的数据分布,从而实现无校准操作。这些结果为纵向在线 MI 解码的未来研究提供了宝贵的见解和建议,并强调了结合领域适应策略对提高实际应用中的 BCI 性能的重要性。临床相关性——我们的研究实现了更稳定、更有效的长期运动想象解码,这对于神经康复和辅助技术至关重要。