摘要 在胸部 X 光 (CXR) 诊断领域,现有研究通常仅侧重于确定放射科医生的注视点,通常是通过检测、分割或分类等任务。然而,这些方法通常被设计为黑盒模型,缺乏可解释性。在本文中,我们介绍了可解释人工智能 (I-AI),这是一种新颖的统一可控可解释流程,用于解码放射科医生在 CXR 诊断中的高度关注度。我们的 I-AI 解决了三个关键问题:放射科医生注视的位置、他们在特定区域关注的时间以及他们诊断出的发现。通过捕捉放射科医生凝视的强度,我们提供了一个统一的解决方案,可深入了解放射学解释背后的认知过程。与当前依赖黑盒机器学习模型的方法不同,这些方法在诊断过程中很容易从整个输入图像中提取错误信息,而我们通过有效地屏蔽不相关的信息来解决这个问题。我们提出的 I-AI 利用视觉语言模型,可以精确控制解释过程,同时确保排除不相关的特征。为了训练我们的 I-AI 模型,我们利用眼球注视数据集来提取解剖注视信息并生成地面真实热图。通过大量实验,我们证明了我们方法的有效性。我们展示了旨在模仿放射科医生注意力的注意力热图,它编码了充分和相关的信息,仅使用 CXR 的一部分即可实现准确的分类任务。代码、检查点和数据位于 https://github.com/UARK-AICV/IAI。1. 简介
保留所有权利。未经许可不得重复使用。 (未经同行评审认证)是作者/资助者,他已授予 medRxiv 永久展示预印本的许可。