XiaoMi-AI文件搜索系统
World File Search SystemImage
增强文本对图像合成的DF-GAN
摘要。文本对图像合成是机器学习中最具挑战性和最受欢迎的任务之一，许多模型旨在提高该领域的性能。深融合生成的对抗网络（DF-GAN）是图像生成的直接但有效的模型，但它具有三个关键局限性。首先，它仅支持句子级文本描述，从而限制了其从文字级输入中提取细颗粒特征的能力。第二，可以优化残差层和块的结构以及关键参数，以提高性能。第三，现有的评估指标，例如FréchetInception距离（FID），倾向于不适当地强调无关紧要的功能，例如背景，当重点放在生成特定对象上时，这是有问题的。为了解决这些问题，我们引入了一个新的文本编码器，该编码器增强了具有处理单词级描述能力的模型，从而导致更精确和文本一致的图像生成。此外，我们优化了关键参数，并重新设计了卷积和残留网络结构，从而产生了更高质量的图像并减少了运行时间。最后，我们提出了一种量身定制的新评估理论，以评估生成图像中特定对象的质量。这些改进使增强的DF-GAN在有效地产生高质量的文本分配图像方面更有效。
脑监督图像编辑
尽管用于语义图像编辑的深度神经模型最近取得了进展，但目前的方法仍然依赖于明确的人工输入。先前的工作假设有手动整理的数据集可用于监督学习，而对于无监督方法，需要人工检查发现的组件以识别那些修改有价值语义特征的组件。在这里，我们提出了一种新颖的替代方法：利用大脑反应作为学习语义特征表示的监督信号。在一项神经生理学实验中，向参与者 (N=30) 展示人工生成的面孔并指示他们寻找特定的语义特征，例如“老”或“微笑”，同时通过脑电图 (EEG) 记录他们的大脑反应。使用从这些反应推断出的监督信号，学习生成对抗网络 (GAN) 潜在空间内的语义特征，然后将其用于编辑新图像的语义特征。我们表明，隐性大脑监督实现的语义图像编辑性能与显性手动标记相当。这项工作证明了利用通过脑机接口记录的隐性人类反应进行语义图像编辑和解释的可行性。
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
Synergynet：弥合离散和连续表示之间的差距，以进行精确的医学图像分割
近年来，已经提出了连续的潜在空间（CLS）和DISCRETE潜在空间（DLS）深度学习模型，以改善医学图像分析。但是，这些模型遇到了不同的挑战。cls模型捕获了复杂的细节，但由于其强调低级特征，因此在结构表示和易男性方面通常缺乏解释性。尤其是，DLS模型提供了可解释性，鲁棒性以及由于其结构性潜在空间而捕获粗粒度信息的能力。但是，DLS模型在捕获细粒细节方面的功效有限。为了确定DLS和CLS模型的局限性，我们采用了Synergynet，这是一种新型的瓶颈体系结构，旨在增强现有的编码器 - 核编码器分割框架。Synergynet无缝地将离散和连续的表示形式整合到利用互补信息中，并成功保留了细学的表示的细节。我们对多器官分割和CAR-DIAC数据集进行的实验实验表明，SynergyNet的表现优于包括Transunet：Transunet：DICE评分提高2.16％的其他最新方法，而Hausdorff分别分别提高了11.13％。在评估皮肤病变和脑肿瘤分割数据集时，我们观察到皮肤病变分割的交互分数的1.71％的重新提高，脑肿瘤分割的增长率为8.58％。我们的创新方法为增强医学图像分析关键领域中深度学习模型的整体性能和能力铺平了道路。
条件感知的神经网络，用于受控图像生成
我们介绍C ONTITION- WARE神经N ETWORK（CAN），这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行，可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的，该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是，Ca n与有效的T（CAT）结合在Imagenet 512×512上达到2.78 FID，超过DIT-XL/2，同时每个采样步骤需要少52×MAC。
LandCover.ai：用于建筑物自动测绘的数据集……
土地覆盖和土地利用的监测和评估在自然资源管理中至关重要。遥感数据和图像处理技术已广泛应用于城市和农村地区的土地描述和变化检测。关于土地利用或土地覆盖的详细信息是各个领域的宝贵信息来源，例如城市规划[30,43]、变化检测[17]、植被监测[2]，甚至军事侦察。土地覆盖变化是环境变化[38,37]、森林覆盖动态[32]和退化[21]的指标，也是生物多样性监测的方法之一[31]。此类数据可用于研究景观中发生的过程，例如各种土地覆盖之间的流动 [ 16 ]，从而可以研究城市化、森林砍伐、农业强度和其他人为变化的速度。
FedDG：通过连续频率空间中的情节学习对医学图像进行分割的联合域概括
联合学习允许分布式的医疗机构可以协作学习具有隐私保护的共享预测模型。在临床部署时，接受联邦学习的模型仍会在联邦外面完全看不见的霍斯群岛上使用时仍会遭受性能下降。在本文中，我们指出并解决了联合域的生成（FedDG）的新型问题设置，该设置旨在从多个分布式源域中学习联合模型，以便它可以直接概括为看不见的目标域。我们提出了一种新颖的方法，在持续频率空间（ELCF）中称为情节学习，通过启动每个客户端在数据分散率的挑战性约束下利用多源数据分布来利用多源数据分布。我们的方法通过有效的连续频率空间插值机制以隐私保护方式传输客户之间的分布信息。通过转移的多源分布，我们进一步仔细设计了面向边界的情节学习范式，以将本地学习暴露于域分布变化，尤其是在医学图像分割场景中尤其满足模型概括的挑战。在两个医学图像分割任务上，我们的方法的有效性优于最先进的表现和深入消融实验。可以在https://github.com/liuquande/feddg-elcfs上使用代码。
训练扩散模型通过增强学习
扩散模型在图像生成中表现出了前所未有的ca。然而，它们从原始训练集中纳入并扩大了数据偏差（例如性别，年龄），从而限制了产生的IMEG的多样性。在本文中，我们在基于图像集的重新函数的指导下，使用增强学习（RL）提出了一种面向多样性的细调方法（RL）。具体而言，所提出的奖励函数（表示为多样性奖励），利用一组生成的信息来评估当前生成分配W.R.T.的覆盖范围。参考分布，由一组无偏见的图像表示。建立在分布差异估计的概率方法的基础上，差异奖励可以有效地用一小部分图像来测量相对分布差距。我们进一步将扩散过程作为多步决策问题（MDP），并通过最大化多样性奖励来应用策略梯度方法来微调扩散模型。在放样后选择任务上验证了奖励，其中根据多样性奖励值选择了最多样化的图像的子集。我们还展示了我们的RL微调框架的有效性，可以通过不同类型的扩散模型（包括班级条件模型和文本条件模型，例如stablediffusion）增强图像生成的多样性。
