XiaoMi-AI文件搜索系统
World File Search System图像
用于可变形医学图像配准的相关感知粗到精 MLP
可变形图像配准是医学图像分析的基本步骤。最近，Transformer 已用于配准，其表现优于卷积神经网络 (CNN)。Transformer 可以捕获图像特征之间的长距离依赖性，这已被证明对配准有益。然而，由于自注意力的计算/内存负载高，Transformer 通常用于下采样特征分辨率，无法捕获全图像分辨率下的细粒度长距离依赖性。这限制了可变形配准，因为它需要每个图像像素之间精确的密集对应关系。没有自注意力的多层感知器 (MLP) 在计算/内存使用方面效率高，从而可以捕获全分辨率下的细粒度长距离依赖性。然而，MLP 尚未在图像配准中得到广泛探索，并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中，我们提出了第一个基于相关感知 MLP 的配准网络 (CorrMLP) 用于可变形医学图像配准。我们的 CorrMLP 在新颖的粗到细配准架构中引入了关联感知多窗口 MLP 块，该架构可捕获细粒度多范围依赖性以执行关联感知粗到细配准。对七个公共医疗数据集进行的大量实验表明，我们的 CorrMLP 优于最先进的可变形配准方法。
通过开发自动图像分类a
生物学入侵正在影响全球生物多样性，生态系统和社会经济。海洋非土著物种（MNIS）可以通过人类活动（例如海上运输和粗心丢弃水族馆物种）引入。尽管为防止引入MNI的努力做出了重大努力，但仍会出现事件，包括紫s，甲壳类动物，沿海，anthozoans，bryozoans，bryozoans，sponges，acraalgae，acroalgae，seagrasses and Mangroves（Alidoost Salimi Salimi等，2021）。一旦MNI在接收者地区建立，控制和消除它们就成为一项艰巨的任务。早期对MNIS的认识可以提高早期反应的有效性，特别是在引入阶段，这对于减少MNIS的影响至关重要。因此，必须在成功建立新栖息地并对当地生物多样性构成威胁之前，制定可靠且具有成本效益的策略来对MNI的早期发现进行早期检测。公众在海洋保护中扮演着重要角色（EARP和LICONTI，2020年），例如检测和监视Acanthaster SPP的爆发和监测。（Dumas等，2020），以及管理侵入性狮子弯曲势力（Clements等，2021）。为了监视MNIS的存在，已采取行动来帮助公众熟悉并有效地认识这些物种，例如使用手表清单和指南。然而，由于海洋物种的生物多样性，准确识别标本
增强文本对图像合成的DF-GAN
摘要。文本对图像合成是机器学习中最具挑战性和最受欢迎的任务之一，许多模型旨在提高该领域的性能。深融合生成的对抗网络（DF-GAN）是图像生成的直接但有效的模型，但它具有三个关键局限性。首先，它仅支持句子级文本描述，从而限制了其从文字级输入中提取细颗粒特征的能力。第二，可以优化残差层和块的结构以及关键参数，以提高性能。第三，现有的评估指标，例如FréchetInception距离（FID），倾向于不适当地强调无关紧要的功能，例如背景，当重点放在生成特定对象上时，这是有问题的。为了解决这些问题，我们引入了一个新的文本编码器，该编码器增强了具有处理单词级描述能力的模型，从而导致更精确和文本一致的图像生成。此外，我们优化了关键参数，并重新设计了卷积和残留网络结构，从而产生了更高质量的图像并减少了运行时间。最后，我们提出了一种量身定制的新评估理论，以评估生成图像中特定对象的质量。这些改进使增强的DF-GAN在有效地产生高质量的文本分配图像方面更有效。
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
弥合扩散模型之间的差距和图像压缩的通用量化
通过利用量化误差和加性噪声之间的相似性，可以通过使用扩散模型“ denoise”量化引入的伪影来构建基于扩散的图像压缩编解码器。但是，我们确定了这种方法中的三个差距，从而导致量化的数据排除在扩散模型的分布之外：噪声水平，噪声类型和由离散化引起的差距的差距。为了解决这些问题，我们提出了一个新型的基于量化的正向扩散过程，该过程是理论上建立的，并桥接了上述三个差距。这是通过经过精心量身定制的量化时间表以及对均匀噪声训练的扩散模型来实现的。与以前的工作相比，我们提出的架构也会产生一贯的现实和详细的结果，即使是在极低的比特率下，同时保持对原始图像的忠诚度。
可控文本到图像合成，适用于多模态 MR 图像
近年来，生成模型取得了重大进展，尤其是在文本到图像合成领域。尽管取得了这些进展，但医学领域尚未充分利用大规模基础模型的功能来生成合成数据。本文介绍了一种文本条件磁共振 (MR) 成像生成框架，解决了与多模态考虑相关的复杂性。该框架包括一个预先训练的大型语言模型、一个基于扩散的提示条件图像生成架构和一个用于输入结构二进制掩码的附加去噪网络。实验结果表明，所提出的框架能够生成与医学语言文本提示一致的逼真、高分辨率和高保真的多模态 MR 图像。此外，该研究根据文本条件语句解释了生成结果的交叉注意力图。这项研究的贡献为未来文本条件医学图像生成的研究奠定了坚实的基础，并对加速医学成像研究的进步具有重要意义。
调整视觉语言模型以实现医学图像中的通用异常检测
大规模视觉语言预训练模型的最新进展已在自然图像领域中的零样本/少样本异常检测方面取得了重大进展。然而，自然图像和医学图像之间巨大的领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级自适应和比较框架，以重新利用 CLIP 模型进行医学异常检测。我们的方法将多个残差适配器集成到预训练的视觉编码器中，从而实现不同级别视觉特征的逐步增强。这种多级自适应由多级、逐像素的视觉语言特征对齐损失函数引导，将模型的重点从自然图像中的对象语义重新校准到医学图像中的异常识别。调整后的特征在各种医学数据类型中表现出更好的泛化能力，即使在模型在训练期间遇到看不见的医学模态和解剖区域的零样本场景中也是如此。我们在医学异常检测基准上进行的实验表明，我们的方法明显优于当前最先进的模型，在零样本和少样本设置下，异常分类的平均 AUC 改进分别为 6.24% 和 7.33%，异常分割的平均 AUC 改进分别为 2.03% 和 2.37%。源代码可从以下网址获取：https://github.com/MediaBrain-SJTU/MVFA-AD
FedDG：通过连续频率空间中的情节学习对医学图像进行分割的联合域概括
联合学习允许分布式的医疗机构可以协作学习具有隐私保护的共享预测模型。在临床部署时，接受联邦学习的模型仍会在联邦外面完全看不见的霍斯群岛上使用时仍会遭受性能下降。在本文中，我们指出并解决了联合域的生成（FedDG）的新型问题设置，该设置旨在从多个分布式源域中学习联合模型，以便它可以直接概括为看不见的目标域。我们提出了一种新颖的方法，在持续频率空间（ELCF）中称为情节学习，通过启动每个客户端在数据分散率的挑战性约束下利用多源数据分布来利用多源数据分布。我们的方法通过有效的连续频率空间插值机制以隐私保护方式传输客户之间的分布信息。通过转移的多源分布，我们进一步仔细设计了面向边界的情节学习范式，以将本地学习暴露于域分布变化，尤其是在医学图像分割场景中尤其满足模型概括的挑战。在两个医学图像分割任务上，我们的方法的有效性优于最先进的表现和深入消融实验。可以在https://github.com/liuquande/feddg-elcfs上使用代码。