机构名称：
¥ 1.0
摘要。当前的自动放射学深度学习模型包括视觉编码器和文本解码器，但通常缺乏产生临床相关，易于阅读和准确的报告所必需的语义深度和上下文理解。由于医学成像的复杂性质以及放射学报告中的专业语言和医学术语，情况更具挑战性。当前深度学习模型中域特定知识的差距强调了将专业放射学专业知识纳入高级语言模型的方法。在这项研究中，我们提出了一个知识图形增强的视觉到语言多模型，用于放射报告生成，以利用现有的医学和放射学知识图。我们探讨了预训练多模型模型的对比学习方法，以学习模态的联合嵌入，包括图像，图形和文本。我们的研究不仅通过证明知识图在增强深度学习模型中的潜力来为语义Web研究的领域做出贡献，还旨在通过以更高的准确性自动化放射学报告过程，从而彻底改变放射学报告过程，从而减少放射学家的工作量并减轻人为错误的风险。
知识图形增强视觉到语言的放射学报告生成的多模型
主要关键词
相关文件推荐
