XiaoMi-AI文件搜索系统
World File Search System超分辨
移动 NPU 上的实时量化图像超分辨率，移动 AI 2021 挑战赛：报告
图像超分辨率是最流行的计算机视觉问题之一，在移动设备上有许多重要的应用。虽然已经为这项任务提出了许多解决方案，但它们通常甚至没有针对常见的智能手机 AI 硬件进行优化，更不用说通常仅支持 INT8 推理的更受限的智能电视平台了。为了解决这个问题，我们推出了第一个移动 AI 挑战赛，其目标是开发一种基于端到端深度学习的图像超分辨率解决方案，该解决方案可以在移动或边缘 NPU 上展示实时性能。为此，为参与者提供了 DIV2K 数据集和训练过的量化模型，以进行高效的 3 倍图像升级。所有模型的运行时间都在 Synaptics VS680 智能家居板上进行评估，该板具有能够加速量化神经网络的专用 NPU。所提出的解决方案与所有主流移动 AI 加速器完全兼容，能够在 40-60 毫秒内重建全高清图像，同时实现高保真度结果。本文提供了挑战赛中开发的所有模型的详细描述。
swinfsr：使用swinir和频域知识的立体图像超分辨率
立体图像超分辨率（Sterereosr）近年来引起了人们的关注，这是由于手机，自动驾驶汽车和机器人的双重摄像头广泛范围。在这项工作中，我们根据Swinir的扩展（最初是为单个图像还原设计的，又提出了一种名为SWINFSR的新定单方法，以及Fast Fourier卷积（FFC）获得的频域知识。具体来说，为了有效地收集全球信息，我们通过使用FFC明确地不明显地局限于SWINIR中的残留SWIN变压器块（RSTBS），并使用结果域知识，并采用结果的残留Swin傅立叶型跨前块（RSFTB）进行特征提取。此外，为了有效，准确的立体视图融合，我们提供了一个新的跨意见模块，称为RCAM，该模块的竞争性能高于竞争性能，同时比最先进的交叉意见模块更少的计算成本。广泛的实验结果和消融研究证明了我们提出的SWINFSR的有效性和效率。
小波损耗的训练变压器模型可改善单图像超分辨率
基于变压器的模型已在包括图像超级分辨率（SR）在内的低级视觉任务中取得了显着的结果。但是，在获得全球信息时，基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素，已经提出了混合注意模型。此外，通过仅将像素的RGB损失（例如L 1）降至最低而无法捕获基本的高频降低，训练不足。本文提出了两种贡献：i）我们引入了卷积非本地稀疏注意（NLSA）块，以扩展混合变压器体系结构，以增强其接受场。ii）我们采用小波损失来训练变压器模型，以提高定量和主观性能。虽然先前已经探索过小波损耗，但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明，所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。
disgan：信息信息的歧视器将GAN引导到MRI超分辨率，并清洁噪声
MRI超级分辨率（SR）和Denoising任务是深度学习领域的挑战，传统上被视为具有分隔的配对培训数据的不同任务。在本文中，我们提出了一种创新的方法，该方法使用单个深度学习模型同时解决这两个任务，从而消除了在培训期间对明确配对嘈杂和干净的图像的需求。我们提出的模型主要是针对SR训练的，但在超级分辨图像中也表现出显着的噪声清洁功能。而不是将与频率相关操作引入常规过程的常规方法，我们的新方法涉及使用以频率信息歧视器为指导的GAN模型。为了实现这一目标，我们利用3D离散小波变换（DWT）操作的功率作为GAN框架内的频率结合，用于磁共振成像（MRI）数据的SR任务。特别是我们的分配包括：1）基于残差 - 残基连接块的3D发电机； 2）将3D DWT与1×1卷积的3D DWT集成到3D UNET内的DWT+CORV单元中； 3）训练有素的模型用于高质量的图像SR，并伴随着Intrinsic denoising过程。我们将模型“ deno诱导的超分辨率gan（disgan）”配音，原因是其对SR图像产生和同时降解的双重影响。与传统的培训SR和Deno Task作为单独模型的传统方法背道而驰，我们提出的disgan仅受到SR任务的培训，但在DeNoising方面也取得了出色的表现。我们的代码可用 -该模型经过了来自人类连接组项目（HCP）的数十个受试者的3D MRI数据的培训，并对先前看不见的MRI数据进行了进一步评估，这些MRI数据来自患有脑肿瘤和癫痫的受试者，以评估其denosis和SR性能。
重新思考多对比度MRI超分辨率：矩形...
最近，几种方法探索了多对比磁共振成像（MRI）超分辨率（SR）的潜力，并获得了优于单对比SR方法的结果。但是，现有方法仍然存在两个缺点：（1）它们只能解决固定的Inter Intermpling量表，例如2×，3×和4倍，它们需要培训并存储临床上每个UPSMPLAING SCALE的相应模型。（2）他们在采用方形窗口（例如8×8）变形金刚网络档案时缺乏直接交互，这导致长范围依赖性的建模不足。此外，参考图像和目标图像之间的关系尚未完全挖掘。为了解决这些问题，我们开发了一个新颖的网络，用于多对比度MRI任意规模的SR，被称为McASSR。具体来说，我们设计了矩形窗口交叉注意变压器，以在MR图像中建立长期依赖性，而无需增加计算复杂性并完全使用参考信息。此外，我们提出了参考吸引的隐式关注，作为提升的模式，通过隐式神经表示实现了任意规模的超分辨率，进一步融合了参考图像的补充信息。在公共和临床数据集上进行了广泛而全面的实验表明，我们的MCASSR比SOTA方法产生了卓越的性能，这表明其在临床实践中的巨大潜力。代码将在https：//github.com/guangyuankk/mcassr上找到。
增强型生成对抗网络，用于 3D 脑 MRI 超分辨率
用于磁共振成像 (MRI) 的单图像超分辨率 (SISR) 重建引起了人们的极大兴趣，因为它不仅可以加快成像速度，还可以改善可用图像数据的定量处理和分析。生成对抗网络 (GAN) 已被证明在图像恢复任务中表现良好。在这项工作中，我们遵循 GAN 框架并开发了一个与鉴别器相结合的生成器来解决 T1 脑 MRI 图像上的 3D SISR 任务。我们开发了一种新颖的 3D 内存高效的残差密集块生成器 (MRDG)，其在 SSIM（结构相似性）、PSNR（峰值信噪比）和 NRMSE（归一化均方根误差）指标方面实现了最先进的性能。我们还设计了一个金字塔池化鉴别器 (PPD) 来同时恢复不同尺寸尺度上的细节。最后，我们引入了模型混合，这是一种简单且计算效率高的方法，可以平衡图像和纹理
用于医学图像超分辨率的多模态多头卷积注意
超分辨率医学图像可帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描 (CT) 或磁共振成像 (MRI) 技术在一次检查期间会捕获多个扫描 (模式)，这些扫描 (模式) 可以联合使用 (以多模态方式) 来进一步提高超分辨率结果的质量。为此，我们提出了一种新颖的多模态多头卷积注意模块来超分辨率 CT 和 MRI 扫描。我们的注意模块使用卷积运算对多个连接的输入张量执行联合空间通道注意，其中核 (感受野) 大小控制空间注意的减少率，卷积滤波器的数量控制通道注意的减少率。我们引入了多个注意头，每个头具有不同的感受野大小，对应于空间注意的特定减少率。我们将多模态多头卷积注意力 (MMHCA) 集成到两个深度神经架构中以实现超分辨率，并对三个数据集进行了实验。我们的实证结果表明，我们的注意力模块优于超分辨率中使用的最先进的注意力机制。此外，我们进行了一项消融研究，以评估注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。
量子退火实现单幅图像超分辨率
本文提出了一种基于量子计算的算法来解决单图像超分辨率（SISR）问题。SISR 的一个著名经典方法依赖于成熟的逐块稀疏建模。然而，该领域的现状是深度神经网络（DNN）已表现出远超传统方法的效果。不过，量子计算有望很快在机器学习问题中变得越来越突出。因此，在本文中，我们有幸对将量子计算算法应用于 SISR 这一重要的图像增强问题进行了早期探索。在量子计算的两种范式，即通用门量子计算和绝热量子计算（AQC）中，后者已成功应用于实际的计算机视觉问题，其中量子并行性已被利用来有效地解决组合优化问题。本研究展示了如何将量子 SISR 公式化为稀疏编码优化问题，该问题使用通过 D-Wave Leap 平台访问的量子退火器进行求解。所提出的基于 AQC 的算法被证明可以实现比传统模拟更快的速度，同时保持相当的 SISR 精度 1 。
训练小波域损失的训练生成图像超分辨率模型可以更好地控制伪影
抽象的超分辨率（SR）是一个不当的反问题，其中具有给定低分辨率图像的可行解决方案集的大小非常大。已经提出了许多算法，以在可行的解决方案中找到一种“好”解决方案，这些解决方案在忠诚度和感知质量之间取得了平衡。不幸的是，所有已知方法都会生成伪影和幻觉，同时试图重建高频（HF）图像细节。一个有趣的问题是：模型可以学会将真实图像细节与文物区分开吗？尽管有些重点侧重于细节和影响的分化，但这是一个非常具有挑战性的问题，并且尚待找到满意的解决方案。本文表明，与RGB域或傅立叶空间损耗相比，使用小波域损失功能训练基于GAN的SR模型可以更好地学习真正的HF细节与伪像的表征。尽管以前在文献中已经使用了小波域损失，但在SR任务的背景下没有使用它们。更具体地说，我们仅在HF小波子带上而不是在RGB图像上训练鉴别器，并且发电机受到小波子带的忠诚度损失的训练，以使其对结构的规模和方向敏感。广泛的实验结果表明，我们的模型根据多种措施和视觉评估实现了更好的感知延续权权衡。
