XRaygpt

x raygpt：使用大型医学视觉语言模型

大语言模型（LLM）和视觉语言模型（VLM）的最新突破已经展示了有希望的近视，以执行各种任务。此类模型通常在大型数据集上进行培训，其中包括数十个具有多种任务的图像文本对。但是，它们在特定于任务域（例如放射学）上的性能仍然不足。尽管最近很少有作品探讨了基于LLMS的对话医学模型，但它们主要集中于基于文本的分析。在本文中，我们介绍了Xraygpt，这是一种会话医学视觉语言（VLMS）模型，可以分析和回答有关胸部二世图的开放性问题。具体来说，我们将两个医学视觉编码器与微调的LLM保持一致，以实现视觉对话能力，以对X光片和医学知识的理解为基础。为了改善胸部X光片数据的对齐，我们从自由文本放射学报告中生成了217K互动和高质量的摘要。进行了广泛的实验，以验证XRaygpt的优点。为进行专家评估，经过认证的医生在测试子集上评估了我们的XRaygpt的产出，结果表明，超过70％的响应是科学准确的，平均得分为4/5。我们的代码和模型可在以下网址提供：https：//github.com/mbzuai-oryx/xraygpt