标题:找不同:ChatGPT4-Vision 能否改变放射学人工智能?Brendan S Kelly1-4(通讯作者)、Sophie Duignan2、Prateek Mathur2、Henry Dillon1、Edward H Lee5、Kristen W Yeom5、Pearse Keane6、Aonghus Lawlor2、Ronan P Killeen 1. 附属机构 1. 爱尔兰都柏林圣文森特大学医院 2. 爱尔兰都柏林 UCD 数据分析洞察中心 3. 爱尔兰都柏林威康信托基金 - HRB,爱尔兰临床学术培训 4. 爱尔兰都柏林大学学院医学院 5. 斯坦福大学露西尔帕卡德儿童医院,美国加利福尼亚州斯坦福 6. 伦敦大学学院人工智能教授 摘要:OpenAI 的旗舰大型语言模型 ChatGPT 现在可以接受图像输入(GPT4V)。“找不同”和“医疗”被认为是新兴应用。医学图像的解释是一个动态过程,而不是静态任务。多发性硬化症的诊断和治疗取决于对放射学变化的识别。我们旨在比较 GPT4V 与训练有素的 U-Net 和 Vision Transformer (ViT) 的零样本性能,以识别 MRI 上的 MS 进展。纳入 170 名患者。随机使用 100 张未见过的配对图像进行测试。U-Net 和 ViT 的准确率均为 94%,而 GPT4V 的准确率仅为 85%。GPT4V 在 6 种情况下给出了过于谨慎的非答案。GPT4V 的准确率、召回率和 F1 分数分别为 0.896、0.915、0.905,而 U-Net 分别为 1.0、0.88 和 0.936,ViT 分别为 0.94、0.94、0.94。与经过训练的模型相比,GPT4V 的出色性能和无代码拖放界面表明,GPT4V 有可能颠覆 AI 放射学研究。然而,错误分类的病例、幻觉和过于谨慎的不回答证实,它尚未准备好用于临床。GPT4V 的广泛可用性和相对较高的错误率凸显了对非专业用户的谨慎和教育的必要性,尤其是那些无法获得专家医疗保健的用户。关键词:计算机视觉、变化检测、ChatGPT、大型语言模型、MRI、多发性硬化症。要点:
A. Vela SSS,3,布鲁斯·霍夫曼(Bruce Hoffman Ttt),3,伯纳德·蒙特罗(Bernard Monteiro ,2 ,2 , Finish Book, 2 , Gistlere 2 , 2 , Synnaeus, 2 , Astrid Acosta, 2 , Edwin Agudelo, , Ferdinand G. Have gggg,2 , André L. C. Cano hhh,2 2 2 2 2 2 2 2 2 2 2 2 2 , Lucelia N. Carvalho,2 , 2 , 2 2 , 2 , Murilo S. Tables mmm,2 , Carlos Are,2 ,卡罗来纳州R. C John G. Lundberg。 wwww,2,20,Lucia Rapp Py-Daniel F,2,Frank R. V Leandro M.