机构名称：
¥ 2.0
Vision Transformer 在包含数百万张图像的数据集上进行训练或预训练后，可以为图像分类任务提供出色的准确率，并且与卷积神经网络相比可以节省计算资源。受潜在准确率提升和计算资源节省的驱动，我们研究了用于加速磁共振图像重建的 Vision Transformer。我们表明，当在 fastMRI 数据集（一种仅包含数千张图像的流行加速 MRI 数据集）上进行训练时，针对图像重建量身定制的 Vision Transformer 可实现与 U-net 相当的重建准确率，同时享受更高的吞吐量和更少的内存消耗。此外，由于众所周知 Transformer 在进行大规模预训练时表现最佳，但 MRI 数据的获取成本高昂，我们提出了一种简单而有效的预训练方法，它完全依赖于大型自然图像数据集，例如 ImageNet。我们表明，对 Vision Transformer 进行预训练可显著提高加速 MRI 的训练数据效率，并增强对解剖结构变化的鲁棒性。在仅有 100 张 MRI 训练图像可用的条件下，预训练的 Vision Transformer 实现的图像质量明显优于预训练的卷积网络和当前最先进的技术。我们的代码可在 https://github.com/MLI-lab/transformers_for_imaging 上找到。关键词：加速 MRI、Transformer、预训练、图像重建
视觉转换器可实现快速且稳健的加速 MRI
主要关键词
相关文件推荐
