XiaoMi-AI文件搜索系统
World File Search System图像
从文本到图像综合的前景 - 背景分割的无监督共同生成
文本对图像（T2I）合成是一项艰巨的任务，该任务是对文本和图像域及其关系进行建模。最近作品实现的图像质量的实质性改进为Nuberon应用程序铺平了道路，例如语言辅助图像编辑，计算机辅助设计，基于文本的图像检索和培训数据增强。在这项工作中，我们提出了一个简单的问题：与逼真的图像一起，我们是否可以以一种不受影响的方式获得任何有用的副产品（例如前景 /背景或多类分割掩码，检测标签，检测标签），这也将使其他计算机视觉任务任务和应用受益？试图回答这个问题，我们探索了从给定文本中的逼真的图像及其相应的前景 /背景分割掩码。为了实现这一目标，我们与GAN一起实验了共进行分割的概念。具体而言，提出了一种名为“共裂”启发的GAN（COS-GAN）的新型GAN结构，该结构同时从不同的噪声矢量中同时生成两个或多个图像，并利用图像特征之间的空间关注机制来生成逼真的分段掩码，以生成生成的Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Agens。这种架构的优点是两倍：1）生成的分割掩码可用于专注于前景和背景，以改善生成的图像的质量，2）分段蒙版可以用作其他任务的训练目标，例如访问本地化和分割。在CUB，Oxford-102和可可数据集上进行的广泛实验表明，Cos-Gan能够改善视觉质量，并为发电图像提供可靠的前景 /背景掩码。
DeepFLASH：基于学习的医学图像配准高效网络
本文介绍了 DeepFLASH，一种用于基于学习的医学图像配准的高效训练和推理的新型网络。与从高维成像空间中的训练数据中学习空间变换的现有方法相比，我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标，我们首先引入复值运算和神经架构表示，为基于学习的配准模型提供关键组件。然后，我们构建了一个在带限空间中完全表征的变换场的显式损失函数，并且参数化要少得多。实验结果表明，我们的方法比最先进的基于深度学习的图像配准方法快得多，同时产生同样精确的对齐。我们在两种不同的图像配准应用中展示了我们的算法：2D 合成数据和 3D 真实脑磁共振 (MR) 图像。我们的代码可以在https://github.com/jw4hv/deepflash上找到。
真正的木星-土星类似物的第一张图像和光谱
摘要 我们计划使用 NIRSpec 积分场单元 (IFU) 拍摄真正的太阳系气态巨行星类似物、标志性的 eps Eridani b 的第一张图像和光谱。Eps Eri b 是一颗已知的径向速度行星，围绕附近的类太阳恒星 (K2V) 运行，轨道距离约为 3.5 au（周期为 7.3 年），其动态质量介于土星和木星之间（0.57-0.78 MJup），这意味着它可以直接与太阳系气态巨行星进行比较。这颗青少年（4 亿至 8 亿年）亚木星是独一无二的，因为就半长轴、质量和年龄而言，它位于凌日和直接成像的系外行星之间。到目前为止，该参数空间区域无法进行光谱表征。此外，第 3 周期是观察该行星的最佳时间，因为它处于最远的投影分离状态，这种情况每 4 年才发生一次。我们将针对这颗冷亚木星的峰值通量（~140-215 K）获得 3-5 微米的 R~2,700 光谱，并首次测量其亮度、有效温度和成分（C/H、O/H、N/S）。由于第 1 周期数据证明 NIRSpec IFU 可以达到优于 JWST 日冕仪的对比度（35 分钟内 1'' 处 1e-6），因此可以直接探测到 eps Eri b。观察描述我们建议使用 NIRSpec 积分场单元（IFU；G395H/F290LP；2.87 - 5.27 微米）拍摄 eps Eridani b 的第一张图像和高分辨率光谱（R=2,700）。
量子退火实现单幅图像超分辨率
本文提出了一种基于量子计算的算法来解决单图像超分辨率（SISR）问题。SISR 的一个著名经典方法依赖于成熟的逐块稀疏建模。然而，该领域的现状是深度神经网络（DNN）已表现出远超传统方法的效果。不过，量子计算有望很快在机器学习问题中变得越来越突出。因此，在本文中，我们有幸对将量子计算算法应用于 SISR 这一重要的图像增强问题进行了早期探索。在量子计算的两种范式，即通用门量子计算和绝热量子计算（AQC）中，后者已成功应用于实际的计算机视觉问题，其中量子并行性已被利用来有效地解决组合优化问题。本研究展示了如何将量子 SISR 公式化为稀疏编码优化问题，该问题使用通过 D-Wave Leap 平台访问的量子退火器进行求解。所提出的基于 AQC 的算法被证明可以实现比传统模拟更快的速度，同时保持相当的 SISR 精度 1 。
增强文本对图像合成的DF-GAN
摘要。文本对图像合成是机器学习中最具挑战性和最受欢迎的任务之一，许多模型旨在提高该领域的性能。深融合生成的对抗网络（DF-GAN）是图像生成的直接但有效的模型，但它具有三个关键局限性。首先，它仅支持句子级文本描述，从而限制了其从文字级输入中提取细颗粒特征的能力。第二，可以优化残差层和块的结构以及关键参数，以提高性能。第三，现有的评估指标，例如FréchetInception距离（FID），倾向于不适当地强调无关紧要的功能，例如背景，当重点放在生成特定对象上时，这是有问题的。为了解决这些问题，我们引入了一个新的文本编码器，该编码器增强了具有处理单词级描述能力的模型，从而导致更精确和文本一致的图像生成。此外，我们优化了关键参数，并重新设计了卷积和残留网络结构，从而产生了更高质量的图像并减少了运行时间。最后，我们提出了一种量身定制的新评估理论，以评估生成图像中特定对象的质量。这些改进使增强的DF-GAN在有效地产生高质量的文本分配图像方面更有效。
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
大脑图像合成，无监督的多元规范CSCL4NET
神经科学的最新进展强调了多模式医学数据在研究某些病理和了解人类认知方面的有效性。但是，获得一组不同的模态的完整集受到各种因素的限制，例如长期获取时间，高检查成本和伪影抑制。此外，神经影像数据的复杂性，高维度和异源性仍然是有效地利用现有随机扫描的另一个关键挑战，因为不同机器通常对相同方式的数据进行了不同的测量。显然需要超越传统成像依赖性过程，并从源中综合解剖学特定的目标模式数据。在本文中，我们建议学习使用新型CSCℓ4NET跨内部和模式内变化的专用特征。通过特征图和多元典范适应性中的模态数据的初始统一，CSCℓ4净4净促进了特征级别的相互转换。正定的riemannian歧管 - 惩罚数据限制项进一步使CSCℓ4NET可以根据变换的特征重新构建缺失测量值。最后，最大化ℓ4 -norm沸腾到计算上有效的优化问题。具有较大的实验可以验证我们的CSCℓ4NET的能力和鲁棒性与Multiple数据集中的最新方法相比。
利用卷积神经网络进行快速对称微分同胚图像配准
微分同胚可变形图像配准在许多医学图像研究中至关重要，因为它提供了独特的属性，包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络（CNN）从合成基本事实或相似性度量中学习空间变换，从而实现快速图像配准。然而，这些方法往往忽略了变换的拓扑保存和变换的平滑性，而平滑性仅由全局平滑能量函数来强制执行。此外，基于深度学习的方法通常直接估计位移场，这不能保证逆变换的存在。在本文中，我们提出了一种新颖的、有效的无监督对称图像配准方法，该方法最大化微分同胚图空间内图像之间的相似性，并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间，同时保持了理想的微分同胚特性。
图像处理及计算机视觉 -CUHK CSE
课程：ENGG5104课程ID：011157 AFF日期：2024-07-01 CRSE状态：主动批准。状态：批准的[新课程]图像处理和计算机视觉图像处理及计算机视觉本课程将涵盖图像处理和计算机视觉中的基本知识和高级主题，包括特征检测，细分，运动估算，全景构建，3D重建，场景检测和分类，颜色图像处理和恢复。还将引入计算机图形中的应用程序，包括图像转换和摄像机校准。将讨论相关算法和数学背景的基本概念。
反事实说明的文本到图像模型
本文解决了生成法定说明（CES）的挑战，涉及识别和修改最少的必要特征，以使分类器对给定图像的预测进行预测。我们提出的方法是反事实e xplanations（Time）的tept to-i mage m odels，是一种基于蒸馏的黑盒反事实技术。与以前的方法不同，此方法仅需要图像及其预测，从而忽略了分类器的结构，参数或梯度的需求。在生成反事实之前，时间将两个不同的偏见引入了文本嵌入的形式稳定扩散：与图像的结构相关联的上下文偏差和类别偏见，与目标分类器学到的类特异性特征相关。学习了这些偏见后，我们发现了使用类预测的类令牌的最佳潜在代码，并使用目标嵌入作为条件，从而产生了符合性的解释。广泛的经验研究证明，即使在黑色盒子设置中运行时，时间也可以产生可比性的解释。