机构名称：
¥ 1.0
深度学习方法在过去几年中在大脑成像分析中迅速发展，但通常会受到有限的标记数据的限制。未标记数据的预训练模型在许多领域（包括自然语言处理和计算机视觉）的特征学习方面提高了有希望的改进。但是，该技术在大脑网络分析中尚未探索。在本文中，我们专注于具有变压器网络的预训练方法，以利用现有的未标记数据进行大脑功能网络分类。首先，我们提出了一个基于变压器的神经网络，称为Brainnpt，用于大脑功能网络分类。提出的方法利用令牌作为变压器模型的分类嵌入向量，以有效捕获大脑网络的表示。第二，我们为Brainnpt模型提出了一个预训练框架，以利用未标记的大脑网络数据来了解大脑网络的结构信息。分类实验的结果证明了Brainnpt模型而没有预训练，从而通过最新模型实现了最佳性能，并且具有预训练的Brainnpt模型强烈胜过最先进的模型。与模型相比，预训练的Brainnpt模型提高了精度的8.75％，而没有预训练。我们进一步比较了训练策略，分析了模型参数的影响，并解释了训练有素的模型。
Brainnpt：用于大脑的预训练变压器网络...
主要关键词
相关文件推荐
