XiaoMi-AI文件搜索系统
World File Search System图像
ODM：文本图像进一步的对齐预训练方法，用于场景文本检测和发现
近年来，文本图像联合预训练技术在各种任务中显示出令人鼓舞的结果。然而，在光学特征识别（OCR）任务中，将文本实例与图像中的相应文本区域对齐是一个挑战，因为它需要在文本和OCR文本之间有效地对齐（将图像中的文本称为ocr-文本以与自然语言中的文本区分开来），而不是对整体图像内容的全面理解。在本文中，我们提出了一种新的预训练方法，称为o cr-text d估计化m odeling（ODM），该方法根据文本提示将图像中的文本样式传输到统一样式中。使用ODM，我们在文本和OCR文本之间实现了更好的对齐方式，并启用预训练的模型以适应场景文本的复杂和多样化的样式。此外，我们为ODM设计了一种新的标签生成方法，并将其与我们提出的文本控制器模块相结合，以应对OCR任务中注释成本的挑战，并以大量未标记的数据参与预培训。在多个Pub-LIC数据集上进行的广泛实验表明，我们的方法显着地证明了性能，并且在场景文本检测和发现任务中的当前预训练方法优于当前的预训练方法。代码在ODM上可用。
3D感知图像合成上自定义属性的定量操纵
尽管基于3D的GAN技术已成功地应用于具有各种属性的照片真实的3D图像，同时保持视图一致性，但很少有关于如何罚款3D impersimens的研究，而不会限制其属性特定对象的特定对象类别。为了填补此类研究空白，我们提出了一个基于3D的GAN代表的新型图像操纵模型，以对特定的自定义贡献进行细粒度控制。通过扩展最新的基于3D的GAN模型（例如，EG3D），我们的用户友好定量操作模型可以实现对3D操作多属性数量的精细而归一化的控制，同时实现了视图一致性。我们通过各种实验验证了我们提出的技术的有效性。
使用扩散模型在潜在空间中进行图像修复
使用扩散模型进行图像修复通常使用预条件模型（即针对绘画任务进行微调的图像条件模型）或后条件模型（即在推理时重新用于绘画任务的非条件模型）。预条件模型在推理时很快，但训练成本极高。后条件模型不需要任何训练，但在推理过程中很慢，需要多次前向和后向传递才能收敛到理想的解决方案。在这里，我们推导出一种不需要昂贵训练但推理速度很快的方法。为了解决昂贵的推理计算时间，我们在潜在空间而不是图像空间上执行前向-后向融合步骤。这是通过扩散过程中新提出的传播模块解决的。在多个领域进行的实验表明，我们的方法达到或改善了状态
卫星图像处理中的人工智能＆...
卫星图像处理是管理我们星球资源的强大工具之一。最近，它在应对全球挑战（例如资源管理，可持续性，气候变化，灾难管理和响应，作物监测等）等全球挑战方面非常重要。图像处理中AI技术的演变已成为处理卫星图像的动力。通过提供高级工具进行分析。FDP旨在深入了解AI在卫星图像处理及其应用中的范围和影响。
基于GSConv模块与ECA注意力机制的改进Unet脑肿瘤图像分割
摘要：本文讨论了一种针对脑肿瘤的医学图像分割改进模型，该模型是一种基于U-Net架构的深度学习算法。在传统U-Net基础上，引入GSConv模块和ECA注意力机制，提升模型在医学图像分割任务中的表现。通过这些改进，新的U-Net模型能够更高效地提取和利用多尺度特征，同时灵活地聚焦重要通道，从而显著提高分割效果。在实验过程中，对改进的U-Net模型进行了系统的训练和评估。通过观察训练集和测试集的loss曲线，我们发现两者的loss值在第8个epoch之后迅速下降到最低点，随后逐渐收敛并趋于稳定。这表明我们的模型具有良好的学习能力和泛化能力。此外，通过监测平均交集比（mIoU）的变化，我们可以看到在第35个epoch之后，mIoU逐渐趋近于0.8并且保持稳定，这进一步验证了模型的有效性。与传统U-Net相比，基于GSConv模块和ECA注意机制的改进版本在分割效果上表现出明显的优势，特别是在脑肿瘤图像边缘的处理上，改进模型能够提供更为准确的分割结果，这一成果不仅提高了医学图像分析的准确率，也为临床诊断提供了更可靠的技术支持。综上所述，本文提出的基于GSConv模块和ECA注意机制的改进U-Net模型为脑肿瘤医学图像分割提供了一种新的解决方案，其优越的性能有助于提高疾病的检测和治疗效果，在相关领域具有重要的意义。未来希望进一步挖掘该方法在其他类型医学图像处理中的应用潜力，推动医学影像事业的发展。
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
迈向图像编辑方法的定量评估指标
在生成AI的快速发展的领域中，这项工作采取了初步步骤，以建立用于比较图像编辑方法的系统范围。当前，缺乏用于评估IMED编辑任务的定量指标，而新方法主要是定性评估的。我们的方法涉及三个关键组成部分：1）使用gan-Control创建大型合成数据集，该数据集可以生成地面图像，以跨不同面部身份进行一致的编辑； 2）匹配过程，将编辑的图像与相应的地面真相配对； 3）将感知距离指标应用于匹配对。我们通过用户研究和一组仿真实验评估了我们提出的框架的有效性。我们的结果表明，我们的方法可以以与人类判断相符的方式对图像编辑方法进行排名。这项研究旨在为随后的研究中的图像编辑技术建立全面的评估框架奠定基础，并就此主题进行对话。
训练小波域损失的训练生成图像超分辨率模型可以更好地控制伪影
抽象的超分辨率（SR）是一个不当的反问题，其中具有给定低分辨率图像的可行解决方案集的大小非常大。已经提出了许多算法，以在可行的解决方案中找到一种“好”解决方案，这些解决方案在忠诚度和感知质量之间取得了平衡。不幸的是，所有已知方法都会生成伪影和幻觉，同时试图重建高频（HF）图像细节。一个有趣的问题是：模型可以学会将真实图像细节与文物区分开吗？尽管有些重点侧重于细节和影响的分化，但这是一个非常具有挑战性的问题，并且尚待找到满意的解决方案。本文表明，与RGB域或傅立叶空间损耗相比，使用小波域损失功能训练基于GAN的SR模型可以更好地学习真正的HF细节与伪像的表征。尽管以前在文献中已经使用了小波域损失，但在SR任务的背景下没有使用它们。更具体地说，我们仅在HF小波子带上而不是在RGB图像上训练鉴别器，并且发电机受到小波子带的忠诚度损失的训练，以使其对结构的规模和方向敏感。广泛的实验结果表明，我们的模型根据多种措施和视觉评估实现了更好的感知延续权权衡。
心理测量：一种用于从人类大脑活动重建图像的万能模型
通过脑机接口，重建所看到的人脑活动图像连接了人机视觉和计算机视觉。由于个体之间大脑功能存在固有差异，现有文献主要集中于使用每个人各自的脑信号数据为每个人获取单独的模型，而忽略了这些数据之间的共性。在本文中，我们设计了心理测量学，这是一个全方位模型，用于重建从不同受试者获得的功能性磁共振成像 (fMRI) 图像。心理测量学包含一个全方位专家混合 (Omni MoE) 模块，其中所有专家共同努力捕捉受试者间的共性，而与特定受试者参数相关的每个专家则负责处理个体差异。此外，心理测量学还配备了一种检索增强推理策略，称为 Ecphory，旨在通过检索预先存储的特定受试者记忆来增强学习到的 fMRI 表征。这些设计共同使心理测量变得万能而高效，使其能够捕捉受试者之间的共性和个体差异。因此，增强的 fMRI 表征可作为条件信号来指导生成模型重建高质量逼真的图像，从而使心理测量在高级和低级指标方面都成为最先进的技术。
具有深层生成模型的扩散加权磁共振大脑图像的现实产生
深度学习方法有可能减轻放射科医生处理繁琐的，耗时的任务，例如检测和细分病理病变[1]，但是在医学成像的背景下对神经网络的培训面临着主要的挑战：它们需要训练大量图像，因为这是很难获得的，因为在许多方面都可以限制医疗信息，并且由于许多方面的范围限制了其他方面的范围。此外，虽然在世界各地的医院数据库中可以提供相对较大的医学图像，但这些图像是未标记的，并且不同的机构以派遣和不均匀的方式保存医疗图像，这使得它们在较大的数据库中收集它们。在这种情况下，从头开始生成医学图像的方法可能引起人们的极大兴趣。生成建模是机器学习的一个子字段，它在产生新的高质量自然图像（例如面部照片[2]）方面具有令人印象深刻的精力[2]，并应用于语音综合[3]和磁共振图像重建等任务[4]。如果可以教导生成模型来产生现实且多样化的新医学图像，那么它们将具有很有吸引力的潜力，可以显着增加可用于深神经网络培训的图像数量，因此可以帮助提高这些网络的准确性[5-7]。