近年来,生成模型取得了重大进展,尤其是在文本到图像合成领域。尽管取得了这些进展,但医学领域尚未充分利用大规模基础模型的功能来生成合成数据。本文介绍了一种文本条件磁共振 (MR) 成像生成框架,解决了与多模态考虑相关的复杂性。该框架包括一个预先训练的大型语言模型、一个基于扩散的提示条件图像生成架构和一个用于输入结构二进制掩码的附加去噪网络。实验结果表明,所提出的框架能够生成与医学语言文本提示一致的逼真、高分辨率和高保真的多模态 MR 图像。此外,该研究根据文本条件语句解释了生成结果的交叉注意力图。这项研究的贡献为未来文本条件医学图像生成的研究奠定了坚实的基础,并对加速医学成像研究的进步具有重要意义。
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而,自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架,以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中,从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导,将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力,即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明,我们的方法明显优于当前最先进的模型,在零样本和少样本设置下,异常分类的平均 AUC 改进分别为 6.24% 和 7.33%,异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取:https://github.com/MediaBrain-SJTU/MVFA-AD
生日 — 坚持不懈终有回报。一旦你有了动力,看到结果只是时间问题。射手座(11 月 23 日至 12 月 21 日)— 你的才华和努力将得到认可。回报将激发你的斗志,推动你争取更高的荣誉。摩羯座(12 月 22 日至 1 月 19 日)— 你有一条清晰的道路可以将你的梦想变成现实。不要害怕改变;采取行动,让它发挥作用。水瓶座(1 月 20 日至 2 月 19 日)— 不要分享个人信息、秘密或任何可能损害你声誉的事情。双鱼座(2 月 20 日至 3 月 20 日)——谨慎选择与谁交往。有人会利用你的慷慨和善良来利用你。白羊座(3 月 21 日至 4 月 19 日)——承担额外的工作,赚取额外的现金,以帮助支付年终费用。你的热情会给你的老板或新客户留下深刻印象,也会带来丰厚的回报。金牛座(4 月 20 日至 5 月 20 日)—— 相信你有能力完成任务。如果你想改变,那就成为实现它的人。全速前进!双子座(5 月 21 日至 6 月 20 日)——观察别人的行为和言论,但不要发表你的想法或意见。你应该保密,直到你弄清楚其他人的计划。巨蟹座(6 月 21 日至 7 月 22 日)——努力为你的社区做出贡献。以创新的方式应对挑战,并发挥领导作用。狮子座(7 月 23 日至 8 月 22 日)——投入更多有意义的思考和行动,思考如何取悦你所爱的人,而不会负债累累。处女座(8 月 23 日至 9 月 22 日)——你的知识和经验将得到回报。每个人都想和你一起工作,帮助你实现目标。不要犹豫,走进聚光灯下。天秤座(9 月 23 日至 10 月 23 日)——让生活简单起来,确保你的银行账户盈余,不要泄露你的秘密。不要在压力下屈服,也不要屈服于要求或某人的操纵策略。天蝎座(10 月 24 日至 11 月 22 日)——如果你把工作和娱乐结合起来,就会有令人兴奋的发现。参与活动,向你的同伴展示你的活力和惊喜。
德国医学图像计算会议(BVM)已在德国的各个地点举行了近30年,现在将在2021年的虚拟活动后首次在Oth Regensburg举行。在内容方面,BVM专注于医学图像数据的计算机辅助分析。应用领域各不相同,例如在成像,诊断,手术计划,计算机辅助干预和可视化领域的领域。在这段时间里,BVM社区在机器学习和人工智能领域中颇有方法论发展和变化 - 特别是在该领域中进行了大量工作。因此,在这种情况下的研究现在主导了BVM。这些范围也有助于在计算机科学和医学之间的接口上建立医学图像处理,以此作为数字健康的关键技术。除了呈现BVM社区的当前研究结果外,BVM的中心位置是年轻研究人员的鼓励。该会议主要是博士候选人的平台,但也是有杰出论文的学生,展示其宗教信仰,与社区进行专业话语,并与其他研究人员进行网络。尽管有许多会议和国会也与医疗图像处理有关,但BVM并没有失去其重要性和吸引力。在内容方面,BVM 2025将再次能够提供有吸引力的顶级级别的程序。最好的论文将在今年再次获得奖品。在94项提交中,28个演示文稿,38个海报贡献和两个软件策略通过双板审核过程接受,每个审查过程都有三个审查。会议网站可以找到:
与从 LiDAR 数据和多视图影像重建相比,倾斜影像重建是大规模城市建模的重要研究问题和经济解决方案。然而,建筑物足迹和立面的部分不可见性、严重的阴影效应以及大范围区域内建筑物高度的极端变化等若干挑战将现有的基于单目影像的建筑物重建研究限制在某些应用场景中,即从近地面影像建模简单的低层建筑物。在本研究中,我们提出了一种新颖的单目遥感影像 3D 建筑物重建方法,解决了上述困难,从而为更复杂的场景提供了一种有吸引力的解决方案。我们设计了一个多任务建筑物重建网络 MTBR-Net,通过四个语义相关任务和三个偏移相关任务来学习倾斜影像的几何属性、3D 建筑物模型的关键组件及其关系。网络输出通过基于先验知识的 3D 模型优化方法进一步集成,以生成最终的 3D 建筑模型。在公共 3D 重建数据集和新发布的数据集上的结果表明,与目前最先进的方法相比,我们的方法将高度估计性能提高了 40% 以上,将分割 F1 分数提高了 2% - 4%。
文本到图像生成模型正变得越来越流行,公众可以访问。由于这些模型看到大规模的部署,因此有必要深入研究其安全性和公平性,以免消散和永久存在任何形式的偏见。然而,存在的工作重点是检测封闭的偏见集,定义了先验的偏见,将研究限制为众所周知的概念。在本文中,我们解决了出现OpenBias的文本到图像生成模型中开放式偏见检测的挑战,该模型是一条新管道,该管道可识别和量化双质量的严重性,而无需访问任何预编译的集合。OpenBias有三个阶段。在第一阶段,我们利用大型语言模型(LLM)提出偏见,给定一组字幕。其次,目标生成模型使用相同的字幕绘制图像。最后,一个视觉问题回答模型认识到了先前提出的偏见的存在和范围。我们研究了稳定扩散1.5、2和XL强调新偏见的稳定扩散,从未研究过。通过定量实验,我们证明了OpenBias与当前的封闭式偏见检测方法和人类判断一致。
我们介绍C ONTITION- WARE神经N ETWORK(CAN),这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行,可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的,该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是,Ca n与有效的T(CAT)结合在Imagenet 512×512上达到2.78 FID,超过DIT-XL/2,同时每个采样步骤需要少52×MAC。
机器学习 (ML) 算法已应用于医学成像,其在医学领域的使用日益增多。尤其是深度学习 (DL),已证明在图像评估和处理方面更为有效。深度学习算法可能有助于并简化其在泌尿科成像中的使用。本文介绍了如何创建用于泌尿科图像分析的卷积神经网络 (CNN) 算法。深度学习是 ML 的一个分支,包括多层神经网络。卷积神经网络已广泛应用于图像分类和数据处理。1 它首先由 Krizhevsky 等人应用于图像分类。2 他们在 2012 年 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 中凭借名为 AlexNet 的深度 CNN 赢得了比赛,该比赛由 120 万张日常彩色图像组成。3 在另一个 CNN 模型中,Lakhani 等人 4 证明他们
