XiaoMi-AI文件搜索系统
World File Search SystemImages
从文本到图像模型中检查图像的地理代表性
生成模型的最新进展导致了模型，这些模型既可以为大多数文本输入产生现实和相关的信息。这些模型每天都用于生成数百万张图像，并具有巨大影响诸如生成艺术，数字营销和数据增强等领域。鉴于它们的影响力，重要的是要确保生成的内容反映全球的伪影和周围环境，而不是过分代表世界的某些地区。在本文中，我们使用众包研究的研究衡量了通过dall·e 2产生的普通名词（例如房屋）的地理代表，以及稳定的扩散模型，其中包括27个国家 /地区的540名参与者。为了有意地指定没有国家名称的意见，生成的图像最反映了美国之后是印度的周围，而顶级世代很少反映出所有其他国家的周围环境（平均得分少于5分中的3个）。在输入中指定国家名称的代表性增加了1。平均在5-点李克特（Dall）的李子量表上为44点。75对于稳定的扩散，许多国家的超高分数仍然很低，这突出了将来模型在地理上更具包含的需求。最后，我们研究了量化使用用户研究的产生图像的地理代表性的可行性。1
medblip：3D医学图像和文本
摘要。视觉语言预处理（VLP）模型已在众多计算机视觉应用中被证明。在本文中，我们基于图像扫描和电子健康记录中的文本介绍，为医疗领域开发VLP模型，以促进计算机辅助诊断（CAD）。为了实现这一目标，我们介绍了MedBlip，这是一种轻巧的CAD系统，该系统启动了从架子冻结的预训练的图像编码器和大型语言模型中启动VLP。我们合并了一个MEDQFormer模块，以弥合3D医学图像和2D预训练的图像编码器和语言模型之间的差距。为了评估MEDBLIP的有效性，我们从五个公共阿尔茨海默氏病（AD）数据集中收集了30,000多个图像量：ADNI，NACC，OASIS，OASIS，AIBL和MIRIAD。在这个大规模的广告集中，我们的模型在健康，轻度认知障碍（MCI）和AD主题的零摄像分类中表现出了令人印象深刻的表现，并且还显示了其在M3D-VQA-AD数据集中的医学视觉问题An-Swering（VQA）中的能力。代码和预训练模型可在https://github.com/qybc/medblip上找到。
调整视觉语言模型以实现医学图像中的通用异常检测
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而，自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架，以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中，从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导，将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力，即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明，我们的方法明显优于当前最先进的模型，在零样本和少样本设置下，异常分类的平均 AUC 改进分别为 6.24% 和 7.33%，异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取：https://github.com/MediaBrain-SJTU/MVFA-AD
使用卷积进行泌尿科图像的深度学习...
机器学习 (ML) 算法已应用于医学成像，其在医学领域的使用日益增多。尤其是深度学习 (DL)，已证明在图像评估和处理方面更为有效。深度学习算法可能有助于并简化其在泌尿科成像中的使用。本文介绍了如何创建用于泌尿科图像分析的卷积神经网络 (CNN) 算法。深度学习是 ML 的一个分支，包括多层神经网络。卷积神经网络已广泛应用于图像分类和数据处理。1 它首先由 Krizhevsky 等人应用于图像分类。2 他们在 2012 年 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 中凭借名为 AlexNet 的深度 CNN 赢得了比赛，该比赛由 120 万张日常彩色图像组成。3 在另一个 CNN 模型中，Lakhani 等人 4 证明他们
肿瘤微环境相互作用引导图形学习，从全切片病理图像进行人类癌症生存分析
深度学习技术的最新进展为协助病理学家从全切片病理图像（WSI）中预测患者的生存期带来了可能性。然而，大多数流行的方法仅适用于WSI中特定或随机选择的肿瘤区域中的采样斑块，这对于捕捉肿瘤与其周围微环境成分之间复杂相互作用的能力非常有限。事实上，肿瘤在异质性肿瘤微环境（TME）中得到支持和培育，详细分析TME及其与肿瘤的相关性对于深入分析癌症发展的机制具有重要意义。在本文中，我们考虑了肿瘤与其两个主要TME成分（即淋巴细胞和基质纤维化）之间的空间相互作用，并提出了一种用于人类癌症预后预测的肿瘤微环境相互作用引导图学习（TMEGL）算法。具体来说，我们首先选择不同类型的块作为节点来为每个 WSI 构建图。然后，提出了一种新颖的 TME 邻域组织引导图嵌入算法来学习可以保留其拓扑结构信息的节点表示。最后，应用门控图注意网络来捕获肿瘤与不同 TME 组件之间与生存相关的交集以进行临床结果预测。我们在来自癌症基因组图谱 (TCGA) 的三个癌症队列上测试了 TMEGL，实验结果表明 TMEGL 不仅优于现有的基于 WSI 的生存分析模型，而且对生存预测具有良好的可解释能力。
从单目遥感图像进行 3D 建筑物重建
与从 LiDAR 数据和多视图影像重建相比，倾斜影像重建是大规模城市建模的重要研究问题和经济解决方案。然而，建筑物足迹和立面的部分不可见性、严重的阴影效应以及大范围区域内建筑物高度的极端变化等若干挑战将现有的基于单目影像的建筑物重建研究限制在某些应用场景中，即从近地面影像建模简单的低层建筑物。在本研究中，我们提出了一种新颖的单目遥感影像 3D 建筑物重建方法，解决了上述困难，从而为更复杂的场景提供了一种有吸引力的解决方案。我们设计了一个多任务建筑物重建网络 MTBR-Net，通过四个语义相关任务和三个偏移相关任务来学习倾斜影像的几何属性、3D 建筑物模型的关键组件及其关系。网络输出通过基于先验知识的 3D 模型优化方法进一步集成，以生成最终的 3D 建筑模型。在公共 3D 重建数据集和新发布的数据集上的结果表明，与目前最先进的方法相比，我们的方法将高度估计性能提高了 40% 以上，将分割 F1 分数提高了 2% - 4%。
异常得分：根据复杂性和脆弱性评估生成模型和个体生成的图像
随着生成模型的发展，生成图像的评估变得越来越重要。先前的方法测量参考文献和从训练有素的VI-SION模型产生的图像之间的距离。在本文中，我们对表示图像周围的表示空间与输入空间之间的关系进行了广泛的影响。我们首先提出了与图像中不自然元素存在有关的两项措施：复杂性，这表明表示空间的非线性和脆弱性是与对抗性输入变化的轻易变化相关的脆弱性。基于这些，我们为评估称为异常评分的图像生成模式（AS）进行了新的指标。此外，我们提出了可以有效地评估生成的图像的AS-I（单个图像的异常得分）。实验性依据证明了所提出的方法的有效性。
可控文本到图像合成，适用于多模态 MR 图像
近年来，生成模型取得了重大进展，尤其是在文本到图像合成领域。尽管取得了这些进展，但医学领域尚未充分利用大规模基础模型的功能来生成合成数据。本文介绍了一种文本条件磁共振 (MR) 成像生成框架，解决了与多模态考虑相关的复杂性。该框架包括一个预先训练的大型语言模型、一个基于扩散的提示条件图像生成架构和一个用于输入结构二进制掩码的附加去噪网络。实验结果表明，所提出的框架能够生成与医学语言文本提示一致的逼真、高分辨率和高保真的多模态 MR 图像。此外，该研究根据文本条件语句解释了生成结果的交叉注意力图。这项研究的贡献为未来文本条件医学图像生成的研究奠定了坚实的基础，并对加速医学成像研究的进步具有重要意义。
机器学习Clifford不变的Ade Coxeter元素
摘要。胸肌分割是乳腺磁共振成像（MRI）的各种计算机辅助应用中的关键步骤。由于胸部和乳房区域之间的伪影和同质性，胸肌边界估计并不是一项琐碎的任务。在本文中，提出了一种基于深度学习的全自动分割方法，以准确描述轴向乳房MR图像中的胸肌边界。提出的方法涉及两个主要步骤：胸肌分割和边界估计。对于胸肌分割，基于U-NET结构的模型用于从输入图像中分离胸肌。接下来，通过候选点检测和轮廓分割来估计胸肌边界。使用两个Real-World数据集，我们自己的私人数据集和一个公开可用的数据集对所提出的方法进行了定量评估。第一个数据集包括12名患者乳房MR图像，第二个数据集由80名患者乳房MR图像组成。所提出的方法在第一个数据集中达到了95％的骰子得分，第二个数据集的骰子得分为89％。在大规模定量乳房MR图像上评估该方法的高分割性能表达了其在将来的乳腺癌临床应用中的潜在适用性。