我们使用 Transformer [10] 来处理生理信号。Transformer 最初是为自然语言处理 (NLP) 任务开发的,目的是处理单词序列。鉴于生理信号是值序列,Transformer 可以适用于生理信号处理 [11]。Transformer 采用学习到的注意机制,根据上下文动态评分输入不同部分的相关性。基于注意的处理适合处理生理信号,因为根据任务和上下文,信号的某些部分可能比其他部分传达更多信息。使用 Transformer 的另一个好处是,我们可以从 BERT [12] 中描述的非常成功的预训练技术中受益,该技术是为 NLP 任务开发的,我们可以根据需要进行调整。这种预训练策略已成功应用于其他领域,如计算机视觉 [13]、语音处理 [14] 和情感计算 [15]。