机构名称：
¥ 1.0
摘要 — 理解神经功能通常需要多种模式的数据，包括电生理数据、成像技术和人口统计调查。在本文中，我们介绍了一种新颖的神经生理模型，以应对多模态数据建模的主要挑战。首先，我们通过解决可变采样率问题来避免原始信号和提取的频域特征之间的不一致问题。其次，我们通过与其他模态的“交叉注意”对模态进行编码。最后，我们利用父变换器架构的属性来模拟跨模态段之间的长距离依赖关系，并评估中间权重，以更好地了解源信号如何影响预测。我们应用多模态神经生理变换器 (MNT) 来预测现有开源数据集中的效价和唤醒。对非对齐多模态时间序列的实验表明，我们的模型在分类任务中的表现相似，在某些情况下甚至优于现有方法。此外，定性分析表明 MNT 能够模拟神经对自主活动的影响以预测唤醒。我们的架构有可能针对各种下游任务进行微调，包括 BCI 系统。
用于情绪识别的多模态神经生理转换器
主要关键词
相关文件推荐
