在计算机视觉和自然语言处理中基础模型的出现导致下游任务取得了巨大进展。通过数十亿个培训示例的数据集启用了这一进度。类似的好处尚未解锁量子化学,其中深度学习的潜力受到相对较小的数据集的限制,该数据集具有100K至20m的训练示例。这些数据集的大小限制,因为标签是使用密度功能理论(DFT)的准确(但要求的)预测进行计算的。值得注意的是,使用CPU超级计算机创建了先前的DFT数据集,而无需利用硬件加速度。在本文中,我们通过使用智能处理单元(IPU)引入数据生成器PYSCF IPU迈出了使用硬件加速器的第一步。这使我们能够创建数据集QM1B,其中包含9-11个重原子的十亿培训示例。我们证明,简单的基线神经网络(SCHNET 9M)通过简单地增加训练数据的量而没有其他电感偏见来提高其性能。为了鼓励未来的研究人员负责任地使用QM1B,我们重点介绍了QM1B的一些局限性,并强调了DFT选项的低分辨率,这也是更大,更准确的数据集的动力。代码和数据集。
病理性脑损伤在脑图像中呈现出不同的外观,由于缺乏全面的数据和注释,很难训练监督检测解决方案。因此,在这项工作中,我们解决了无监督异常检测问题,仅使用健康数据进行训练,目的是在测试时检测未见的异常。许多当前方法采用具有限制性架构(即包含信息瓶颈)的自动编码器,这些自动编码器不仅会对异常部分进行不良重建,而且会对正常部分进行不良重建。相反,我们研究了经典的去噪自动编码器模型,这些模型不需要瓶颈,并且可以使用跳过连接来提供高分辨率保真度。我们设计了一种简单的噪声生成方法来升级低分辨率噪声,从而实现高质量的重建。我们发现,通过适当的噪声生成,去噪自动编码器重建误差可以推广到高强度病变分割,并达到脑 MRI 数据中无监督肿瘤检测的最新性能,击败了变分自动编码器等更复杂的方法。我们相信这为进一步研究无监督异常检测提供了强大且易于实施的基础。关键词:异常检测、无监督学习、自动编码器、去噪、MRI。
当前用于对象识别和分类的方法主要依赖于单帧图像中的静态信息。但是,对于战斗空中视频(通常是低分辨率视频),几乎无法获得用于对象分类和识别的所有静态索引。为了应对这一挑战,我们提出了一种创新的3D和动态语义场景分析的方法,该方法利用监视视频数据主要是从无人机平台捕获的,以对静态对象进行分类(例如建筑物)和移动对象(例如车辆)自动。在我们提出的自动对象检测和分类框架中,除了3D静态对象的视觉特征(例如建筑物或车辆的形状,线取向,颜色和纹理)以及城市环境的3D静态结构,我们还探索了动态视频功能,其中包括随时间推移的车辆运动图案。所有这些静态和动态特征都将被视为构造时空特征向量,然后将新生成的向量发送到实时和自动建筑物和车辆分类的概率动态影响图(DID)推理模型。此外,我们还提出了有关自动建筑物检测,3D地形建模和可视化的新颖3D算法,以支持准确的对象分类/分类。1。简介
超分辨率(SR)的长期挑战是如何在保持语义相干性的同时有效地增强低分辨率(LR)图像的高频细节。这在经常在低功率设备上部署的SR模型的实际应用中尤为重要。为了解决此问题,我们提出了一个具有多深度分支模块(MDBM)的创新不对称的SR架构。这些MDBM包含不同深度的分支,旨在同时有效地捕获高频和低频信息。MDBM的层次结构允许更深的分支在浅层分支的上下文指导下逐渐积累细粒的本地细节。我们使用特征图来可视化这个过程,并使用拟议的新型傅立叶光谱分析方法进一步证明了该设计的合理性和有效性。此外,我们的模型比现有分支网络在分支之间表现出更明显的光谱差异。这表明MDBM降低了冗余,并提供了一种更有效的方法来集成高频和低频信息。各种数据集上的广泛定性和定量评估表明,我们的模型可以生成结构一致且视觉上现实的HR图像。它以非常快的推理速度实现最新的(SOTA)结果。我们的代码可在https://github.com/thy960112/mdbn上找到。
摘要。快速磁共振成像(MRI)序列在临床环境中高度要求。但是,成像信息不足会导致诊断困难。MR图像超分辨率(SR)是解决此问题的一种有希望的方法,但是由于获取配对的低分辨率和高分辨率(LR和HR)图像的实际困难,其性能受到限制。大多数现有的方法都使用倒数采样的LR IMENES,由于俯瞰域距离或由未知和复杂的降解引起的近似差而可能不准确。在这项研究中,我们提出了一个基于真实但未配对的HR/LR图像的1.5T MR脑图像的域距离调整SR框架。我们的框架工作利用了学习任意未配对图像的抽象表示并适应域间隙的能力,从而使其可行,以证明现实的下采样。此外,我们提出了一个新颖的生成对抗网络(GAN)模型,该模型集成了包含编码器,骨干和解码器的发电机,以及一个基于UNET的歧视器和多尺度感知损失。这种方法产生了令人信服的纹理,并成功地恢复了众所周知的公共数据集上过时的1.5T MRI数据,在感知和定量评估中的最先进的SR方法表现优于最先进的SR方法。
全球气候模型(GCMS)模拟了全球范围内的低分辨率投影。GCM的本地分辨率通常对于社会级别的决策而言太低。为了增强空间分辨率,通常将降尺度应用于GCM输出。尤其是统计缩减技术,是一种具有成本效益的方法。与基于物理的动力学缩放相比,它们所需的计算时间要少得多。近年来,与传统统计方法相比,统计降尺度的深度学习越来越重要,证明错误率明显较低。但是,基于回归的深度学习技术的缺点是它们过度适合平均样本强度的趋势。极值通常被低估。问题上,极端事件具有最大的社会影响。我们提出了分位数回归征(QRE),这是一种受增强方法启发的创新深度学习al-gorithm。它的主要目标是通过训练分区数据集上的独立模型来避免拟合样品平均值和特殊值之间的权衡。我们的QRE对冗余模型具有鲁棒性,并且不容易受到爆炸性集成权重的影响,从而确保了可靠的训练过程。QRE达到了较低的均方误差(MSE)。尤其是,对于新西兰的高强度沉淀事件,我们的算法误差较低,突出了能够准确代表极端事件的能力。
抽象的超分辨率(SR)是一个不当的反问题,其中具有给定低分辨率图像的可行解决方案集的大小非常大。已经提出了许多算法,以在可行的解决方案中找到一种“好”解决方案,这些解决方案在忠诚度和感知质量之间取得了平衡。不幸的是,所有已知方法都会生成伪影和幻觉,同时试图重建高频(HF)图像细节。一个有趣的问题是:模型可以学会将真实图像细节与文物区分开吗?尽管有些重点侧重于细节和影响的分化,但这是一个非常具有挑战性的问题,并且尚待找到满意的解决方案。本文表明,与RGB域或傅立叶空间损耗相比,使用小波域损失功能训练基于GAN的SR模型可以更好地学习真正的HF细节与伪像的表征。尽管以前在文献中已经使用了小波域损失,但在SR任务的背景下没有使用它们。更具体地说,我们仅在HF小波子带上而不是在RGB图像上训练鉴别器,并且发电机受到小波子带的忠诚度损失的训练,以使其对结构的规模和方向敏感。广泛的实验结果表明,我们的模型根据多种措施和视觉评估实现了更好的感知延续权权衡。
摘要 — 临床环境对高细节和快速磁共振成像 (MRI) 序列的需求很高,因为成像信息不足会导致诊断困难。MR 图像超分辨率 (SR) 是一种很有前途的解决此问题的方法,但由于获取成对的低分辨率和高分辨率 (LR 和 HR) 图像的实际困难,其性能受到限制。大多数现有方法通过下采样 HR 图像来生成这些对,这个过程通常无法捕获复杂的退化和特定于域的变化。在本研究中,我们提出了一个域距离自适应 SR 框架 (DDASR),其中包括两个阶段:域距离自适应下采样网络 (DSN) 和基于 GAN 的超分辨率网络 (SRN)。DSN 在下采样过程中结合了未配对 LR 图像的特征,从而能够生成域自适应的 LR 图像。此外,我们提出了一种具有增强注意力 U-Net 和多层感知损失的新型 GAN。所提出的方法产生了视觉上令人信服的纹理,并成功恢复了来自 ADNI1 数据集的过时 MRI 数据,在感知和定量评估中均优于最先进的 SR 方法。代码可在 https://github.com/Yaolab-fantastic/DDASR 上找到。
摘要 — 临床环境对高细节和快速的磁共振成像 (MRI) 序列有很高的要求,因为成像信息不足会导致诊断困难。MR 图像超分辨率 (SR) 是解决此问题的一种有前途的方法,但由于获取成对的低分辨率和高分辨率 (LR 和 HR) 图像的实际困难,其性能受到限制。大多数现有方法通过下采样 HR 图像来生成这些对,而这个过程通常无法捕捉到复杂的退化和特定于域的变化。在本研究中,我们提出了一个域距离自适应 SR 框架 (DDASR),其中包括两个阶段:域距离自适应下采样网络 (DSN) 和基于 GAN 的超分辨率网络 (SRN)。DSN 在下采样过程中结合了未配对 LR 图像的特征,从而能够生成域自适应的 LR 图像。此外,我们提出了一种具有增强注意力 U-Net 和多层感知损失的新型 GAN。所提出的方法可产生视觉上令人信服的纹理,并成功恢复 ADNI1 数据集中过时的 MRI 数据,在感知和定量评估方面均优于最先进的 SR 方法。代码可在 https://github.com/Yaolab-fantastic/DDASR 上找到。
摘要— 先进星载热辐射和反射辐射计 (ASTER) 是由日本东京国际贸易和工业部 (MITI) 提供的研究设施仪器,将于 1998 年发射到 NASA 的地球观测系统早晨 (EOS-AM1) 平台上。ASTER 在可见近红外 (VNIR) 中有三个光谱波段,在短波红外 (SWIR) 中有三个波段,在热红外 (TIR) 区域有五个波段,地面分辨率分别为 15 米、30 米和 90 米。VNIR 子系统有一个后视波段,用于沿轨道方向的立体观测。由于数据将具有广泛的光谱覆盖范围和相对较高的空间分辨率,我们将能够区分各种表面材料并减少由混合像素导致的一些低分辨率数据中的问题。 ASTER 将首次提供高空间分辨率的轨道多光谱热红外数据以及所有 EOS-AM1 仪器中空间分辨率最高的表面光谱反射温度和发射率数据。ASTER 任务的主要科学目标是提高对发生在地球表面和低层大气上或附近的局部和区域尺度过程的理解,包括地表-大气相互作用。科学调查的具体领域包括:1) 陆地表面气候学;2) 植被和生态系统动态;3) 火山监测;4) 灾害监测;5) 大气