XiaoMi-AI文件搜索系统
World File Search SystemSeg
从文本到图像综合的前景 - 背景分割的无监督共同生成
文本对图像（T2I）合成是一项艰巨的任务，该任务是对文本和图像域及其关系进行建模。最近作品实现的图像质量的实质性改进为Nuberon应用程序铺平了道路，例如语言辅助图像编辑，计算机辅助设计，基于文本的图像检索和培训数据增强。在这项工作中，我们提出了一个简单的问题：与逼真的图像一起，我们是否可以以一种不受影响的方式获得任何有用的副产品（例如前景 /背景或多类分割掩码，检测标签，检测标签），这也将使其他计算机视觉任务任务和应用受益？试图回答这个问题，我们探索了从给定文本中的逼真的图像及其相应的前景 /背景分割掩码。为了实现这一目标，我们与GAN一起实验了共进行分割的概念。具体而言，提出了一种名为“共裂”启发的GAN（COS-GAN）的新型GAN结构，该结构同时从不同的噪声矢量中同时生成两个或多个图像，并利用图像特征之间的空间关注机制来生成逼真的分段掩码，以生成生成的Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Agens。这种架构的优点是两倍：1）生成的分割掩码可用于专注于前景和背景，以改善生成的图像的质量，2）分段蒙版可以用作其他任务的训练目标，例如访问本地化和分割。在CUB，Oxford-102和可可数据集上进行的广泛实验表明，Cos-Gan能够改善视觉质量，并为发电图像提供可靠的前景 /背景掩码。
在伪装实例分段中揭示隐藏上下文
摘要。预测隐藏在com-plex上下文中的对象的实例级掩码是伪装实例分割（CIS）的目标，这一任务因伪装的obs obsptss and Anckatiks之间的惊人相似之处而复杂。伪装观察的各种外观，包括不同的角度，部分可见性和模棱两可的信息，进一步加剧了这一挑战。先前的作品考虑在高不确定性区域内clasifulsiful sifialpixels，而无需考虑其文本语义，从而导致许多假阳性。我们提出了一种称为Mask2Camouflage的新颖方法，该方法同时增强了上下文特征的建模，并完善了实例级别的预测地图。mask2Camouflage利用多尺度功能集成了骨干线中提取的功能。然后，引入了全局细化的交叉注意模块（GCA），以补充前景面罩和背景掩盖，以减少假阳性。fur-hoverore，通过模拟全球换档聚类过程，我们介绍了全球偏移的多头自我注意力（GSA），该过程使对象查询不仅可以从早期功能中捕获信息，还可以从结构性概念中捕获信息，从而降低与评估的数据验证的掩体对象检测任务中的类内部问题。与15种最先进的方法相比，我们的Mask2Camouflage显着提高了伪装实例细分的性能。我们的代码可在https://github.com/underlmao/mask2camouflage上找到。
在扩散模型中使用令牌优化的开放式摄取注意图
扩散模型代表文本到图像生成中的新范式。除了从文本提示中生成高质量的图像之外，诸如稳定扩散之类的模型已成功扩展到了共同生成的分段伪遮罩。但是，当前的敏感主要依赖于提取与用于图像合成的及时单词相关的关注。这种方法限制了从文本提示中未包含的单词代币中得出的分割掩码的产生。在这项工作中，我们介绍了开放式摄影注意力图（OVAM） - 用于文本到图像扩散模型的无训练方法，可为任何单词生成注意力图。此外，我们提出了一个基于OVAM的轻巧优化过程，用于查找具有单个注释的对象类的准确注意图。
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
FedDG：通过连续频率空间中的情节学习对医学图像进行分割的联合域概括
联合学习允许分布式的医疗机构可以协作学习具有隐私保护的共享预测模型。在临床部署时，接受联邦学习的模型仍会在联邦外面完全看不见的霍斯群岛上使用时仍会遭受性能下降。在本文中，我们指出并解决了联合域的生成（FedDG）的新型问题设置，该设置旨在从多个分布式源域中学习联合模型，以便它可以直接概括为看不见的目标域。我们提出了一种新颖的方法，在持续频率空间（ELCF）中称为情节学习，通过启动每个客户端在数据分散率的挑战性约束下利用多源数据分布来利用多源数据分布。我们的方法通过有效的连续频率空间插值机制以隐私保护方式传输客户之间的分布信息。通过转移的多源分布，我们进一步仔细设计了面向边界的情节学习范式，以将本地学习暴露于域分布变化，尤其是在医学图像分割场景中尤其满足模型概括的挑战。在两个医学图像分割任务上，我们的方法的有效性优于最先进的表现和深入消融实验。可以在https://github.com/liuquande/feddg-elcfs上使用代码。
像医学居民一样培训：对通用医学图像分割的上下文学习
临床成像工作流的主要重点是疾病诊断和管理，导致医学成像数据集与特定的临床目标密切相关。这种情况导致了开发特定于任务的分割模型的主要实践，而没有从广泛的成像群中获得见解。受到医学放射学居民培训计划的启发，我们提出了向普遍医学图像分割的转变，旨在通过利用临床目标，身体区域和成像方式的多样性和共同点来建立医学图像理解基础模型的范式。div of这个目标，我们开发了爱马仕，一种新颖的上下文 - 学习方法，以应对医学图像segmentation中数据杂基的挑战和注释差异。在五种模式（CT，PET，T1，T2和Cine MRI）和多个身体区域的大量各种数据集（2,438个3D图像）中，我们证明了通用范式比传统范式在单个模型中解决多个任务的传统范式的优点。通过跨任务的协同作用，爱马仕在所有测试数据集中都能达到最先进的性能，并显示出卓越的模型可伸缩性。其他两个数据集中的结果揭示了爱马仕在转移学习，分裂学习和对下游任务的概括方面的出色表现。爱马仕（Hermes）博学的先生展示了一个具有吸引力的特征，以反映任务和方式之间的复杂关系，这与既定的放射学解剖学和成像原则相吻合。代码可用1。
Synergynet：弥合离散和连续表示之间的差距，以进行精确的医学图像分割
近年来，已经提出了连续的潜在空间（CLS）和DISCRETE潜在空间（DLS）深度学习模型，以改善医学图像分析。但是，这些模型遇到了不同的挑战。cls模型捕获了复杂的细节，但由于其强调低级特征，因此在结构表示和易男性方面通常缺乏解释性。尤其是，DLS模型提供了可解释性，鲁棒性以及由于其结构性潜在空间而捕获粗粒度信息的能力。但是，DLS模型在捕获细粒细节方面的功效有限。为了确定DLS和CLS模型的局限性，我们采用了Synergynet，这是一种新型的瓶颈体系结构，旨在增强现有的编码器 - 核编码器分割框架。Synergynet无缝地将离散和连续的表示形式整合到利用互补信息中，并成功保留了细学的表示的细节。我们对多器官分割和CAR-DIAC数据集进行的实验实验表明，SynergyNet的表现优于包括Transunet：Transunet：DICE评分提高2.16％的其他最新方法，而Hausdorff分别分别提高了11.13％。在评估皮肤病变和脑肿瘤分割数据集时，我们观察到皮肤病变分割的交互分数的1.71％的重新提高，脑肿瘤分割的增长率为8.58％。我们的创新方法为增强医学图像分析关键领域中深度学习模型的整体性能和能力铺平了道路。
通过风格增强和双重规范化实现通用的跨模态医学图像分割
对于医学图像分割，想象一下如果一个模型仅使用源域中的 MRI 图像进行训练，那么它在目标域中直接分割 CT 图像的性能如何？这种设置，即具有临床潜力的通用跨模态分割，比其他相关设置（例如域自适应）更具挑战性。为了实现这一目标，我们在本文中提出了一种新颖的双重规范化模型，该模型在通用分割过程中利用增强的源相似和源不相似图像。具体而言，给定一个源域，旨在模拟看不见的目标域中可能的外观变化，我们首先利用非线性变换来增强源相似和源不相似图像。然后，为了充分利用这两种类型的增强，我们提出的基于双重规范化的模型采用共享主干但独立的批量规范化层进行单独规范化。随后，我们提出了一种基于风格的选择方案，在测试阶段自动选择合适的路径。在三个公开数据集（即 BraTS、跨模态心脏和腹部多器官数据集）上进行的大量实验表明，我们的方法优于其他最先进的领域泛化方法。代码可在 https://github.com/zzzqzhou/Dual-Normalization 获得。
夹子驱动的器官分割和肿瘤检测的通用模型
越来越多的公共数据集显示出对自动器官细分和图检测的显着影响。但是，由于每个数据集的大小和部分标记的问题，以及对各种肿瘤的有限侵入，因此所得的模型通常仅限于细分特定的器官/肿瘤，以及ig- ignore ignore ignore的解剖结构的语义，也可以将其扩展到新颖的Domains。为了解决这些问题，我们提出了剪辑驱动的通用模型，该模型结合了从对比的语言图像预训练（剪辑）到细分模型中学到的文本嵌入。这个基于夹子的标签编码捕获了解剖学关系，使模型能够学习结构化特征嵌入和段25个器官和6种类型的肿瘤。提出的模型是从14个数据集的组装中开发的，使用总共3,410张CT扫描进行培训，然后对3个附加数据集进行了6,162个外部CT扫描进行评估。我们首先在医疗细分十项全能（MSD）公共排行榜上排名第一，并在颅库（BTCV）之外实现最先进的结果。此外，与数据集特异性模型相比，大学模型在计算上更有效（更快6英制），从不同站点进行CT扫描更好，并且在新任务上表现出更强的传输学习绩效。
息肉区域的细分异源变分编码器用于分割，缺少模态
摘要。多模式图像的使用通常可以改善分段。但是，由于临床限制，完整的多模式数据集通常不可用。为了解决这个问题，我们提出了一个新颖的mul-timodal分割框架，该框架可通过使用利益区域（ROI）细心的模态完成，可以使缺少模态固定。我们使用ROI专注的跳过连接专注于与分割相关的收件，以及结合肿瘤ROI的关注点和分割概率图的关节歧视者，以学习与分割与分割相关的共享潜在表示。我们的方法在脑部分割挑战数据集中得到了285例，该数据集的全部肿瘤，肿瘤核心和增强肿瘤的三个区域。它也是在缺血性卒中病变分割挑战数据集上的带有28例梗塞病变的阀门。我们的方法在强大的多模式分割中优于最先进的方法，分别为三种类型的脑肿瘤区域的平均骰子分别为84.15％，75.59％和54.90％，中风病变的平均骰子为48.29％。我们的方法可以改善需要多模式图像的临床工作流程。