XiaoMi-AI文件搜索系统
World File Search System图像
从文本到图像综合的前景 - 背景分割的无监督共同生成
文本对图像（T2I）合成是一项艰巨的任务，该任务是对文本和图像域及其关系进行建模。最近作品实现的图像质量的实质性改进为Nuberon应用程序铺平了道路，例如语言辅助图像编辑，计算机辅助设计，基于文本的图像检索和培训数据增强。在这项工作中，我们提出了一个简单的问题：与逼真的图像一起，我们是否可以以一种不受影响的方式获得任何有用的副产品（例如前景 /背景或多类分割掩码，检测标签，检测标签），这也将使其他计算机视觉任务任务和应用受益？试图回答这个问题，我们探索了从给定文本中的逼真的图像及其相应的前景 /背景分割掩码。为了实现这一目标，我们与GAN一起实验了共进行分割的概念。具体而言，提出了一种名为“共裂”启发的GAN（COS-GAN）的新型GAN结构，该结构同时从不同的噪声矢量中同时生成两个或多个图像，并利用图像特征之间的空间关注机制来生成逼真的分段掩码，以生成生成的Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Agens。这种架构的优点是两倍：1）生成的分割掩码可用于专注于前景和背景，以改善生成的图像的质量，2）分段蒙版可以用作其他任务的训练目标，例如访问本地化和分割。在CUB，Oxford-102和可可数据集上进行的广泛实验表明，Cos-Gan能够改善视觉质量，并为发电图像提供可靠的前景 /背景掩码。
ODM：文本图像进一步的对齐预训练方法，用于场景文本检测和发现
近年来，文本图像联合预训练技术在各种任务中显示出令人鼓舞的结果。然而，在光学特征识别（OCR）任务中，将文本实例与图像中的相应文本区域对齐是一个挑战，因为它需要在文本和OCR文本之间有效地对齐（将图像中的文本称为ocr-文本以与自然语言中的文本区分开来），而不是对整体图像内容的全面理解。在本文中，我们提出了一种新的预训练方法，称为o cr-text d估计化m odeling（ODM），该方法根据文本提示将图像中的文本样式传输到统一样式中。使用ODM，我们在文本和OCR文本之间实现了更好的对齐方式，并启用预训练的模型以适应场景文本的复杂和多样化的样式。此外，我们为ODM设计了一种新的标签生成方法，并将其与我们提出的文本控制器模块相结合，以应对OCR任务中注释成本的挑战，并以大量未标记的数据参与预培训。在多个Pub-LIC数据集上进行的广泛实验表明，我们的方法显着地证明了性能，并且在场景文本检测和发现任务中的当前预训练方法优于当前的预训练方法。代码在ODM上可用。
通过扩散模型通过类间图像混合增强图像分类
文本对图像（T2I）生成模型最近成为一种强大的工具，可以创建照片现实的图像并引起多种应用。然而，将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中，我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明，这些方法努力产生既忠实的（就前景对象）而且针对领域概念的多样化（在背景上下文中）。为了应对这一挑战，我们引入了一种创新的类数据增强方法，称为diff-mix 1，该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是，DIFF-MIX在信仰和多样性之间取得了更好的平衡，从而导致各种图像分类场景之间的性能显着提高，包括域名数据集的少量，常规和长尾分类。
胸部MRI图像的定量分析，用于良性恶性诊断肺固体结节
方法：招募了总共333例肺结核（训练队列中的233例，在验证队列中为100例）。从MRI图像（CE T1W和T2W）中提取了总共2,824个放射线特征。逻辑回归（LR），幼稚的贝叶斯（NB），支持向量机（SVM），随机森林（RF）和极端梯度提升（XGBOOST）分类器用于构建预测模型，并在应用最佳预测模型后为每个患者获得了放射线学分数（RAD分数）。临床因素和RAD分数共同基于多元逻辑回归分析构建了一个nom图模型，并使用接收器操作特征曲线（AUC）下的区域评估了五个预测模型的诊断性能。
3D图像分割的拓扑感知焦点损失
分割算法的疗效经常因拓扑错误，连接中断和空隙等拓扑错误而受到损害。为了解决这一问题，我们引入了一种新颖的损失函数，即拓扑 - 意识局灶性损失（TAFL），该功能将基于基于地面真实和预测段蒙版的持久性图表之间的拓扑结构术语与拓扑结构术语结合在一起。通过实施与地面真理相同的拓扑结构，拓扑的约束可以有效地解决拓扑结构，而焦点损失可以解决阶级失衡。我们首先是从地面真理和预测的分割掩模的过滤的立方复合物中构造持久图。随后，我们利用sindhorn-knopp算法来确定两个持久图之间的最佳运输计划。最终的运输计划最小化了将质量从一个分布到另一个分布的运输成本，并在两个持久图中的点之间提供了映射。然后，我们根据该旅行计划计算沃斯堡的距离，以测量地面真相和预测的面具之间的拓扑差异。我们通过训练3D U-NET与MICCAI脑肿瘤分割（BRATS）CHALLENE验证数据集来评估我们的方法，该数据需要准确地分割3D MRI扫描，从而整合各种方式，以精确鉴定和跟踪恶性脑肿瘤。然后，我们证明，通过添加拓扑约束作为惩罚项，通过将焦点损失正规化来提高分段性能的质量。
深层：使用深度学习和公共多光谱图像促进大规模自动化树库存
Deeptrees项目提供了用于培训，微调和部署深度学习模型的工具，以使用德国的数字矫正图计划（DOP）以20 cm的分辨率从德国的数字矫正图计划（DOP）中使用公共访问的图像进行诸如Tree Crown分割，树状特征检测和树种分类。这些DOP图像是根据“ Amtliches popographis-kartographissches Informationssystems”（AKTIS）指南进行标准化的，以确保其长期使用的可靠性和一致性[2]。利用深层python软件包，我们成功地绘制了萨克森州（137,293,260棵树）和萨克森 - 安哈尔特（81,449,641棵树）的218,742,901棵树，展示了该工具在森林，Urban和乡村环境中的可伸缩性（图1）。这些数据集为市政当局和机构提供了宝贵的见解，以管理街道树木，监测城市绿化和评估森林健康，从而实现更明智的决策和可持续的管理实践。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。
多样化形象到图像 - 译-Via-disentangled- ...
摘要。图像到图像翻译旨在学习两个视觉域之间的映射。许多范围的主要挑战有两个主要挑战：1）缺乏对齐的训练对和2）来自单个输入图像的多个可能的输出。在这项工作中，我们提出了一种基于分离的表示形式的方法，用于生产带有配对的训练图像的各种输出。为了达到多样性，我们建议将信息嵌入两个空间：一个域 - 不变的内容空间，捕获跨域和域特异性属性空间的共享信息。使用分离的功能作为输入大大降低了模式崩溃。为了处理未配对的培训数据，我们引入了一种新型的跨周期同意损失。定性结果表明，我们的模型可以在各种任务上产生多样化和逼真的图像。我们通过广泛的评估来验证我们方法的有效性。
图像分割 - 基于 - 基于系统的群集 -
计算机视觉的抽象工业应用有时需要检测数字图像中小组像素的非典型物体。这些对象很难单一单，因为它们很小并且随机分布。在这项工作中，我们使用新型基于ANT系统的聚类算法（ASCA）提出了一种图像分割方法。ASCA对蚂蚁的觅食行为进行建模，蚂蚁的觅食行为在搜索高数据密度区域的数据空间中移动，并在其路径上留下信息素跟踪。信息素图用于识别簇的确切数量，并使用信息素gra-denient将像素分配给这些簇。我们将ASCA应用于数字乳房X线照片中的微钙化，并将其与最先进的聚类算法进行比较，例如1D自组织图，k -meanss，模糊C-Meanss和可能的模糊模糊C-Meanss。ASCA的主要优点是，群集的数量不需要先验。实验结果表明，在检测非典型数据的小簇时，ASCA比其他算法更有效。
