摘要。监视系统的兴起导致收集的数据呈指数增长,从而在深度学习方面有了一些进步来利用它们并自动化自治系统的任务。车辆检测是智能车辆系统和智能运输系统领域的关键任务,使得控制交通密度或检测事故和潜在风险是可能的。本文提出了一个最佳的元方法,可以应用于任何即时分割模型,例如蒙版R- CNN或yolact ++。使用这些模型和超分辨率获得的初始检测,进行了优化的重新指导,允许检测未鉴定的元素并提高其余检测的质量。超分辨率的直接应用是有限的,因为实例分割模型根据固定维度处理图像。因此,如果超过超过该固定尺寸的尺寸,该模型将再次重新汇总,从而失去所需效果。这种元方法的优点主要在于不需要修改模型体系结构或重新培训它。无论给出的输入的图像的大小如何,都将生成符合对象分割模型定义维度的超级分辨区域。应用我们的建议后,实验显示了CityScapes数据集Jena序列中使用的Yolact ++模型的提高高达8.1%。
磁共振成像 (MRI) 是一种多功能医学成像方式,可在软组织之间提供出色的对比度。可以调整采集参数,以使这种对比度对各种组织特性敏感,例如质子密度以及纵向和横向弛豫时间(分别为 T 1 和 T 2 )。MRI 采集包括使用各种电磁脉冲反复激发人体内质子,并从图像中获取少量傅里叶样本。然后通过逆傅里叶变换运算将频域中的观测值重铸到空间域。典型的 MRI 数据包括任意方向的 2D 或 3D 图像。后者具有两个平面内空间维度和切片方向的第三个空间维度,因此它们可以看作张量。然而,MRI 的采集时间相对较慢,通常需要几分钟的时间。这种技术限制会阻碍 3D 高分辨率图像的采集。为了避免这个缺点,超分辨率技术已被证明在许多情况下是有效的 [1],[2],[3]。它们包括从一个或多个低分辨率观测中恢复 3D 高分辨率图像。最近,有人提出使用深度学习从单个低分辨率观测中恢复高分辨率图像 [4],[5]。然而,对于小病变,最好考虑多个观测以用于图像的诊断。这些观测可以合并到融合模型中,从而提供比单独处理更多的信息 [6]。使用融合范式避免了依赖外部患者数据库来获取先验信息。因此,在剩下的文章中,我们将重点关注从多个观测中进行超分辨率重建的问题,也称为多帧超分辨率。
荧光标签的光漂白在单分子和超分辨率显微镜下构成了主要限制。常规的光稳定方法,例如去除氧气和添加高浓度的光稳定添加剂,通常需要仔细的荧光团选择,并且可能破坏生物学环境。为了解决这些局限性,我们开发了一种模块化和微创光稳定方法,该方法利用了DNA介导的光稳定剂直接传递到成像位点。在较低的激发强度下,DNA介导的策略优于基于溶液的方法,以显着较低的添加剂浓度实现有效的光稳定。然而,在较高的激发强度下,单个光稳定器分子的稳定性成为限制因素。为了克服这一点并减少了DNA-Paint实验中的局部化损失,我们还实施了恢复方案,在成像位点不断补充光稳定剂。我们进一步扩展了细胞成像的方法,证明了3D-DNA涂料测量中的定位率和精度提高了。DNA介导的光稳定化为禁止高添加剂浓度的成像应用提供了有希望的解决方案。其模块化启用适应性
单图像超分辨率(SISR)在图像处理领域起着重要作用。最近的生成对抗网络(GAN)可以在具有小样本的低分辨率图像上取得出色的结果。但是,几乎没有一些文献总结了SISR中不同的剂量。在本文中,我们从不同的角度对gan进行了比较研究。我们首先看一下甘斯的发展。第二,我们为图像应用中的大型和小样本中提供了流行的植物体系结构。然后,我们分析了基于gan的优化方法的动机,实施和差异,以及对图像超分辨率的歧视性学习,以受监督,半监督和无监督的方式来进行,在这些方面,通过整合不同的网络体系结构,先验知识,损失功能和多个任务来分析这些gans。接下来,我们通过SISR中的定量和定性分析在公共数据集上比较了这些受欢迎的gan的性能。最后,我们重点介绍了gan的挑战和SISR的潜在研究点。
科学背景。目前正在绕地球从地球表面获取图像。由空间机构和政府运营的卫星星座,可以对所有土地表面和海洋进行全球监测。尽管这些非商业卫星提供了开放式和免费图像,但它们的空间决议通常受到限制,最多约为10米。尽管这些空间分辨率在各种应用中足够,但对于需要检测到诸如建筑物,树篱或动物等细节细节的特定应用程序,它们可能是有限的因素。可以人为地增强图像空间分辨率的可能解决方案是超分辨率(SR)。该技术可以被构架为一个倒数的问题,包括学习降解函数的倒数,可以应用于低空间分辨率(LR)图像以估计高空间分辨率(HR)图像。在该领域的最后十年中,学习策略的发展,尤其是深度学习,以学习降解功能,从而提高了这一领域的研究。最近,一种生成方法的扩散模型已实现了超分辨率的重大进展,尤其是在感知可视化方面[6]。在遥感的背景下,超级分辨率也因生成模型的最新进展[9](包括扩散模型)的最新进展增强了,并使用了两个主要的并发设置,用于学习降级功能。第一个是使用通过对HR图像降采样的卫星图像的合成对训练模型的。在推断时,通常将训练的模型应用于HR图像,以估算一个非常高的空间分辨率(VHR)图像或另一个传感器捕获的真实LR图像。在这两种情况下,它都会由于数据分布在将模型应用于另一个空间分辨率或通过传感器特性的变化引起的比色变化而产生域间隙。为了克服该域间隙,第二个解决方案包括采用跨传感器设置,在该设置中,来自不同传感器的真实图像对训练超分辨率模型。这种现实的场景在训练过程中引起了额外的挑战,因为可能无法正确地共同注册图像,通过具有不同光谱特征的传感器捕获,并且在不同的时间,在观察值中造成了变化[5]。文献中没有共识,进一步的工作应该使使用超分辨率技术获得现实的HR
生成模型(例如Di usion模型)在近年来已取得了显着的进步,从而使能够综合各个领域的高质量现实数据。在这里,探索了在超分辨率显微镜图像上的分解模型的适应和训练。表明,生成的图像类似于实验图像,并且生成过程不会从训练集中的现有图像中显示出很大程度的记忆。为了证明生成模型在数据增强中的有用性,将基于基于学习的高分辨率数据训练的基于深度学习的单位图(SISR)方法的性能与单独使用实验图像或数学建模产生的图像进行了比较。使用一些实验图像,改进了重建图像的重建质量和空间分辨率,从而展示了分解模型图像产生的潜力,以克服显微镜图像收集和注释的限制。最后,该管道公开可用,可在线运行和用户友好,以使研究人员能够生成自己的合成显微镜数据。这项工作证明了显微镜任务的生成分歧模型的潜在贡献,并为其在该领域的未来应用铺平了道路。
摘要 - 扩散模型在各种图像生成任务(包括图像超分辨率)上实现了令人印象深刻的性能。尽管它们令人印象深刻,但由于大量的降级步骤,扩散模型的计算成本很高。在本文中,我们提出了一种新型的加速扩散模型,称为部分扩散模型(PDMS),用于磁性成像(MRI)超分辨率。我们观察到,扩散一对低分辨率和高分辨率的图像的潜力逐渐收敛,并在一定的噪声水平后变得难以区分。这激发了我们使用某些潜在的低分辨率来对相应的高分辨率潜在。使用近似值,我们可以跳过一部分扩散和降解步骤,从而减少训练和推理的计算。为了减轻近似误差,我们进一步引入了“潜在对齐”,该误差逐渐插入并接近低分辨率潜在的高分辨率潜在潜在的潜在。部分扩散模型与潜在对齐结合,基本上建立了一种新的轨迹,与原始分化模型中的那些相比,潜伏期逐渐从低分辨率转变为高分辨率图像。在三个MRI数据集上进行的实验表明,部分扩散模型可实现比起原始扩散模型比原始扩散模型更少的固定步骤。另外,它们可以与最近的加速扩散模型合并,以进一步提高效率。
光片(HILO)激发3,用DNA-Paint 6以下达到5 nm 4,5以下的横向定位精度(S SMLM)。但是,这是以有限的穿透深度为代价的,TIR <250 nm,而Hilo 7,8的视野降低了〜40×10 µm 2。SMLM也可以在共聚焦设置中实现,包括点扫描和旋转磁盘共聚焦(SDC),这使得更深的样品渗透9,使其比较成像组织样品。图像扫描显微镜(ISM)10通过像素重新分配将共聚焦显微镜11,12的空间分辨率增加一倍,并且在与SMLM结合使用时,SMLM最近达到了8 nm的S SMLM,尽管小FOV的小FOV为8×8 µm 2 13。为了提高采集速度和FOV尺寸,SDC在旋转盘上采用数百个螺旋针孔,并与摄像机而不是单点检测器相结合。SDC构型已适用于SMLM,使用DNA-PART 14,使用DNA-Origami样品使用DNA-Origami样品达到8 nm的平面定位精度和基础平面中的细胞22 nm。仍然,由于发射光被光盘阻断,由于兴奋强度降低,可实现的分辨率仍受到限制。在2015年,Azuma及其同事提出了具有光子光子重新分配(SDC-EPR)15的增强的SDC,这是一系列微胶片,以有效降低针孔尺寸并增加光子收集,以改善分辨率。这些微漏物收缩了焦点双重,将发射的光子引导回可能的起源点(图1a)。因此,这提出了一个问题:SDC-opr的表现能否优于当前的光学配置,克服渗透深度,视野和空间分辨率之间的权衡?In this Brief Communication, we show that SMLM on a SDC- OPR fluorescence microscope can achieve sub-2 nm localization precision in the basal plane and sub-10 nm up to 7 µm penetration depth within a FOV of 53 × 53 µm 2 using a commercially available SDC-OPR (CSU-W1 SoRA Nikon system).通过可视化,以前所未有的分辨率来强调SDC-OPR的功能,在果蝇的视觉想象盘的视网膜上皮中的附着力连接。
摘要 — 临床环境对高细节和快速磁共振成像 (MRI) 序列的需求很高,因为成像信息不足会导致诊断困难。MR 图像超分辨率 (SR) 是一种很有前途的解决此问题的方法,但由于获取成对的低分辨率和高分辨率 (LR 和 HR) 图像的实际困难,其性能受到限制。大多数现有方法通过下采样 HR 图像来生成这些对,这个过程通常无法捕获复杂的退化和特定于域的变化。在本研究中,我们提出了一个域距离自适应 SR 框架 (DDASR),其中包括两个阶段:域距离自适应下采样网络 (DSN) 和基于 GAN 的超分辨率网络 (SRN)。DSN 在下采样过程中结合了未配对 LR 图像的特征,从而能够生成域自适应的 LR 图像。此外,我们提出了一种具有增强注意力 U-Net 和多层感知损失的新型 GAN。所提出的方法产生了视觉上令人信服的纹理,并成功恢复了来自 ADNI1 数据集的过时 MRI 数据,在感知和定量评估中均优于最先进的 SR 方法。代码可在 https://github.com/Yaolab-fantastic/DDASR 上找到。
摘要 — 临床环境对高细节和快速的磁共振成像 (MRI) 序列有很高的要求,因为成像信息不足会导致诊断困难。MR 图像超分辨率 (SR) 是解决此问题的一种有前途的方法,但由于获取成对的低分辨率和高分辨率 (LR 和 HR) 图像的实际困难,其性能受到限制。大多数现有方法通过下采样 HR 图像来生成这些对,而这个过程通常无法捕捉到复杂的退化和特定于域的变化。在本研究中,我们提出了一个域距离自适应 SR 框架 (DDASR),其中包括两个阶段:域距离自适应下采样网络 (DSN) 和基于 GAN 的超分辨率网络 (SRN)。DSN 在下采样过程中结合了未配对 LR 图像的特征,从而能够生成域自适应的 LR 图像。此外,我们提出了一种具有增强注意力 U-Net 和多层感知损失的新型 GAN。所提出的方法可产生视觉上令人信服的纹理,并成功恢复 ADNI1 数据集中过时的 MRI 数据,在感知和定量评估方面均优于最先进的 SR 方法。代码可在 https://github.com/Yaolab-fantastic/DDASR 上找到。