机构名称：
¥ 1.0
摘要。视觉语言预处理（VLP）模型已在众多计算机视觉应用中被证明。在本文中，我们基于图像扫描和电子健康记录中的文本介绍，为医疗领域开发VLP模型，以促进计算机辅助诊断（CAD）。为了实现这一目标，我们介绍了MedBlip，这是一种轻巧的CAD系统，该系统启动了从架子冻结的预训练的图像编码器和大型语言模型中启动VLP。我们合并了一个MEDQFormer模块，以弥合3D医学图像和2D预训练的图像编码器和语言模型之间的差距。为了评估MEDBLIP的有效性，我们从五个公共阿尔茨海默氏病（AD）数据集中收集了30,000多个图像量：ADNI，NACC，OASIS，OASIS，AIBL和MIRIAD。在这个大规模的广告集中，我们的模型在健康，轻度认知障碍（MCI）和AD主题的零摄像分类中表现出了令人印象深刻的表现，并且还显示了其在M3D-VQA-AD数据集中的医学视觉问题An-Swering（VQA）中的能力。代码和预训练模型可在https://github.com/qybc/medblip上找到。
medblip：3D医学图像和文本
主要关键词
相关文件推荐
