XiaoMi-AI文件搜索系统
World File Search System模式比
粒度事项：病理图形驱动的脑CT报告生成的跨模式比对
自动脑CT报告生成可以提高诊断颅疾病的效率和准确性。但是，当前方法受1）粗粒监督的限制：图像文本格式中的训练数据缺乏识别微妙的异常性的监督，以及2）耦合的交叉模式对齐：视觉文本一致性可能不可避免地以粗糙的方式进行，从而导致鲜明的特征代表性地汇总，以报道的代表。在本文中，我们提出了一种新型的病态图形驱动的跨模式比对（PGCA）模型，以进行准确且健壮的脑CT报告生成。我们的方法可以通过对病理图进行构建以学习精细的视觉提示并与文本单词对齐，从而有效地解开了跨模式的对准。该图包含代表基本病理性贡献的异质淋巴结（即，组织和病变）通过与先前的知识相关的内部和属间边缘。通过精心设计的图形嵌入和更新模块，我们的模型完善了微妙的tiss和病变的视觉特征，并使用对比度学习使它们与文本单词对齐。广泛的实验结果证实了我们方法的生存能力。我们认为，我们的PGCA模型有可能大大增强脑CT报告的自动产生，并最终有助于改善颅骨疾病诊断。
