图像超分辨率是最流行的计算机视觉问题之一,在移动设备上有许多重要的应用。虽然已经为这项任务提出了许多解决方案,但它们通常甚至没有针对常见的智能手机 AI 硬件进行优化,更不用说通常仅支持 INT8 推理的更受限的智能电视平台了。为了解决这个问题,我们推出了第一个移动 AI 挑战赛,其目标是开发一种基于端到端深度学习的图像超分辨率解决方案,该解决方案可以在移动或边缘 NPU 上展示实时性能。为此,为参与者提供了 DIV2K 数据集和训练过的量化模型,以进行高效的 3 倍图像升级。所有模型的运行时间都在 Synaptics VS680 智能家居板上进行评估,该板具有能够加速量化神经网络的专用 NPU。所提出的解决方案与所有主流移动 AI 加速器完全兼容,能够在 40-60 毫秒内重建全高清图像,同时实现高保真度结果。本文提供了挑战赛中开发的所有模型的详细描述。
最近,几种方法探索了多对比磁共振成像(MRI)超分辨率(SR)的潜力,并获得了优于单对比SR方法的结果。但是,现有方法仍然存在两个缺点:(1)它们只能解决固定的Inter Intermpling量表,例如2×,3×和4倍,它们需要培训并存储临床上每个UPSMPLAING SCALE的相应模型。(2)他们在采用方形窗口(例如8×8)变形金刚网络档案时缺乏直接交互,这导致长范围依赖性的建模不足。此外,参考图像和目标图像之间的关系尚未完全挖掘。为了解决这些问题,我们开发了一个新颖的网络,用于多对比度MRI任意规模的SR,被称为McASSR。具体来说,我们设计了矩形窗口交叉注意变压器,以在MR图像中建立长期依赖性,而无需增加计算复杂性并完全使用参考信息。此外,我们提出了参考吸引的隐式关注,作为提升的模式,通过隐式神经表示实现了任意规模的超分辨率,进一步融合了参考图像的补充信息。在公共和临床数据集上进行了广泛而全面的实验表明,我们的MCASSR比SOTA方法产生了卓越的性能,这表明其在临床实践中的巨大潜力。代码将在https://github.com/guangyuankk/mcassr上找到。
图 2.1:国王十字站和彭顿维尔路空间战略区域场地分配位置...................................................................................................................................... 4
抽象的超分辨率(SR)是一个不当的反问题,其中具有给定低分辨率图像的可行解决方案集的大小非常大。已经提出了许多算法,以在可行的解决方案中找到一种“好”解决方案,这些解决方案在忠诚度和感知质量之间取得了平衡。不幸的是,所有已知方法都会生成伪影和幻觉,同时试图重建高频(HF)图像细节。一个有趣的问题是:模型可以学会将真实图像细节与文物区分开吗?尽管有些重点侧重于细节和影响的分化,但这是一个非常具有挑战性的问题,并且尚待找到满意的解决方案。本文表明,与RGB域或傅立叶空间损耗相比,使用小波域损失功能训练基于GAN的SR模型可以更好地学习真正的HF细节与伪像的表征。尽管以前在文献中已经使用了小波域损失,但在SR任务的背景下没有使用它们。更具体地说,我们仅在HF小波子带上而不是在RGB图像上训练鉴别器,并且发电机受到小波子带的忠诚度损失的训练,以使其对结构的规模和方向敏感。广泛的实验结果表明,我们的模型根据多种措施和视觉评估实现了更好的感知延续权权衡。
单光子光检测和范围(LIDAR)系统通常配备一系列检测器,以提高空间分辨率和传感速度。但是,考虑到激光跨场横跨场景产生的固定量磁通量,当更多像素在单位空间中堆积时,每像素信号到噪声(SNR)将减小。这在传感器阵列的空间分辨率与每个像素的SNR之间的空间分辨率之间提出了基本的权衡。探索了这种基本限制的理论表征。通过得出光子竞争统计量并引入一系列新的近似技术,得出了时间延迟的最大样品估计器的平均平方误差(MSE)。理论预测与模拟和实际数据良好。
基于变压器的模型已在包括图像超级分辨率(SR)在内的低级视觉任务中取得了显着的结果。但是,在获得全球信息时,基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素,已经提出了混合注意模型。此外,通过仅将像素的RGB损失(例如L 1)降至最低而无法捕获基本的高频降低,训练不足。本文提出了两种贡献:i)我们引入了卷积非本地稀疏注意(NLSA)块,以扩展混合变压器体系结构,以增强其接受场。ii)我们采用小波损失来训练变压器模型,以提高定量和主观性能。虽然先前已经探索过小波损耗,但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明,所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。
层析成像是分析内部成分排列的一种方法。医学可能是利用这种方法并推动其发展的最著名学科。[1–3] 然而,层析成像也已应用于其他研究领域,如材料科学[4,5]、生物学[6]、考古学[7]甚至流体动力学[8],并且在工业领域也越来越受到认可,例如用于质量控制[9]或无损检测[10]。图像采集与实时重建算法[11]、高级图像分析[12]、特征分割和识别分析算法[13,14]与现代机器学习工具[15,16]的结合增强了这种方法的潜力。如今,实验室扫描仪普及且功能强大,受益于改进的空间和时间分辨率,尽管尖端实验仍然局限于高亮度同步加速器和X射线自由电子激光器。可以在极短的时间内获得高空间分辨率。[17,18] 对高空间和时间分辨率、大视野和高总记录时间的需求意味着目标的冲突。文献中概述了不同设备可用的实际速度和分辨率。[19–21]
用于磁共振成像 (MRI) 的单图像超分辨率 (SISR) 重建引起了人们的极大兴趣,因为它不仅可以加快成像速度,还可以改善可用图像数据的定量处理和分析。生成对抗网络 (GAN) 已被证明在图像恢复任务中表现良好。在这项工作中,我们遵循 GAN 框架并开发了一个与鉴别器相结合的生成器来解决 T1 脑 MRI 图像上的 3D SISR 任务。我们开发了一种新颖的 3D 内存高效的残差密集块生成器 (MRDG),其在 SSIM(结构相似性)、PSNR(峰值信噪比)和 NRMSE(归一化均方根误差)指标方面实现了最先进的性能。我们还设计了一个金字塔池化鉴别器 (PPD) 来同时恢复不同尺寸尺度上的细节。最后,我们引入了模型混合,这是一种简单且计算效率高的方法,可以平衡图像和纹理
上个世纪的快速技术进步导致温度传感领域中带来了新的Challenges。准确,遥远,无接触式和实时微观和纳米级的温度映射在细胞成像,微流体和纳米流体以及集成电路设计中的需求巨大,[1-11]中,这些严格的要求需要使用光学方法。这些通常分为三个主要的猫:红外(IR)隆期,IR直接检测和远程光学/荧光热量表。,由于其出色的热分辨率(10-1 K),其中最常见的是IR射量方法,例如在商业设备中发现的方法。然而,要检测到的黑体辐射的长红外波长导致室内温度(RT)对象的固有低空间分辨率为≈10µm,这是由于abbe差异的限制所期望的。对IR光的检测也遭受了由于吸收而缺乏与广泛的光学成分相兼容。[12,13]或者,在可见区域中运行的远程光学方法,例如,通过测量荧光强度或衰减时间,[14]达到了很高的热分辨率,并且可能由于较低的衍射极限而有可能提供较高的空间分辨率,并且在常见媒体(例如水和玻璃)中透明度。[13,15,16]基于强度的量化,由于光散射(样品拓扑,磷光粒子形态等)而容易出现错误。),不均匀的磷光器分布,非态磷光物种形成或批处理变异性等。虽然基于荧光时代的热量成像是继承了许多此类局限性,但其部署通常会因适合特定应用的特定要求的磷剂的可用性而受到阻碍。我们的本文提出的研究涉及在RT周围温度下在温度下进行高空间和热分辨率热图形的新型热液少量探索。在这种情况下,我们发现已知的热燃料载体,即有机染料,聚合物,量子点,稀有掺杂的金属氧化物,[17-25]面临限制,例如材料制造或薄膜沉积,耐用性和健壮性的耐用性和稳健性的耐磨性,或者不适合特定范围的特定方法或常见的特定方法。