XiaoMi-AI文件搜索系统
World File Search SystemIma
利用神经速度场进行微分同胚图像配准
微分同胚图像配准能够提供平滑的变换和拓扑保存，在许多医学图像分析任务中是必需的。传统方法对可接受的变换空间施加某些建模约束，并使用优化来寻找两幅图像之间的最佳变换。指定正确的可接受的变换空间具有挑战性：如果空间过于严格，配准质量可能会很差，而如果空间过于笼统，则优化可能难以解决。最近基于学习的方法利用深度神经网络直接学习变换，实现了快速推理，但由于难以捕捉微小的局部变形和泛化能力，在准确性方面面临挑战。在这里，我们提出了一种新的基于优化的方法，称为 DNVF（带神经速度场的微分同胚图像配准），该方法利用深度神经网络来建模可接受的变换空间。具有正弦激活函数的多层感知器 (MLP) 用于表示连续速度场，并为空间中的每个点分配一个速度矢量，从而提供对复杂变形进行建模的灵活性以及优化的便利性。此外，我们提出了一种级联图像配准框架 (Cas-DNVF)，结合了优化和基于学习的方法的优点，其中训练完全卷积神经网络 (FCN) 来预测初始变形，然后使用 DNVF 进行进一步细化。在两个大型 3D MR 脑部扫描数据集上进行的实验表明，我们提出的方法明显优于最先进的配准方法。
Alwasiti , HHA 和 Yusoff , MZ 2022, '使用深度卷积神经网络和 Mixup 进行脑机接口的运动意象分类
摘要 — 目标：构建一个可以在单个受试者的小型 EEG 训练集上进行训练的 DL 模型提出了一个有趣的挑战，这项工作正试图解决这一挑战。具体来说，本研究试图避免长时间的 EEG 数据收集过程，并且不组合多个受试者的训练数据集，因为这会对分类性能产生不利影响，因为受试者之间的个体间差异很大。方法：使用大约 120 次 EEG 试验对定制的具有混合增强功能的卷积神经网络进行训练，每个模型仅针对一个受试者。结果：经过修改的具有混合增强功能的 ResNet18 和 DenseNet121 模型分别实现了 0.920（95% 置信区间：0.908,0.933）和 0.933（95% 置信区间：0.922,0.945）的分类准确率。结论：我们表明，尽管本研究使用的训练数据集有限，但与同一数据集上先前研究中的其他 DL 分类器相比，设计的分类器具有更高的分类性能。
热红外单幅图像去雾及盲图像质量评价
图像去雾是一种减少图像中雾霾、灰尘或雾气影响的方法，以便清晰地查看观察到的场景。文献中存在大量传统和基于机器学习的方法。然而，这些方法大多考虑可见光光谱中的彩色图像。显然，由于热红外光谱的波长较长，受雾霾的影响要小得多。但远距离观测期间的大气扰动也会导致热红外 (TIR) 光谱中的图像质量下降。在本文中，我们提出了一种为 TIR 图像生成合成雾的方法。然后，我们分析了现有的盲图像质量评估措施雾感知密度评估器 (FADE) 对 TIR 光谱的适用性。我们进一步全面概述了当前图像去雾的最新技术，并通过经验表明，许多最初为可见光图像设计的方法在应用于 TIR 光谱时表现得出奇的好。这在最近发布的 M3FD 数据集上进行的实验中得到了证实。
量子退火实现单幅图像超分辨率
本文提出了一种基于量子计算的算法来解决单图像超分辨率（SISR）问题。SISR 的一个著名经典方法依赖于成熟的逐块稀疏建模。然而，该领域的现状是深度神经网络（DNN）已表现出远超传统方法的效果。不过，量子计算有望很快在机器学习问题中变得越来越突出。因此，在本文中，我们有幸对将量子计算算法应用于 SISR 这一重要的图像增强问题进行了早期探索。在量子计算的两种范式，即通用门量子计算和绝热量子计算（AQC）中，后者已成功应用于实际的计算机视觉问题，其中量子并行性已被利用来有效地解决组合优化问题。本研究展示了如何将量子 SISR 公式化为稀疏编码优化问题，该问题使用通过 D-Wave Leap 平台访问的量子退火器进行求解。所提出的基于 AQC 的算法被证明可以实现比传统模拟更快的速度，同时保持相当的 SISR 精度 1 。
心理测量：一种用于从人类大脑活动重建图像的万能模型
通过脑机接口，重建所看到的人脑活动图像连接了人机视觉和计算机视觉。由于个体之间大脑功能存在固有差异，现有文献主要集中于使用每个人各自的脑信号数据为每个人获取单独的模型，而忽略了这些数据之间的共性。在本文中，我们设计了心理测量学，这是一个全方位模型，用于重建从不同受试者获得的功能性磁共振成像 (fMRI) 图像。心理测量学包含一个全方位专家混合 (Omni MoE) 模块，其中所有专家共同努力捕捉受试者间的共性，而与特定受试者参数相关的每个专家则负责处理个体差异。此外，心理测量学还配备了一种检索增强推理策略，称为 Ecphory，旨在通过检索预先存储的特定受试者记忆来增强学习到的 fMRI 表征。这些设计共同使心理测量变得万能而高效，使其能够捕捉受试者之间的共性和个体差异。因此，增强的 fMRI 表征可作为条件信号来指导生成模型重建高质量逼真的图像，从而使心理测量在高级和低级指标方面都成为最先进的技术。
BCI：通过金字塔PIX2PIX
人类表皮生长因子2（HER2）表达的评估对于制定乳腺癌的精确治疗至关重要。HER2的常规评估是通过免疫组织化学技术（IHC）进行的，这非常昂贵。因此，我们首次生产了乳腺癌免疫组织化学（BCI）基准，试图将IHC数据直接与成对的苏木精（HE）染色图像合成。数据集包含4870个注册的图像对，涵盖了各种HER2表达水平。基于BCI，作为较小的贡献，我们进一步构建了一种金字塔PIX2PIX图像生成方法，它比其他当前流行算法更好地实现了IHC翻译结果。BCI的广泛实验对现有的Immig translation Research构成了新的挑战。此外，BCI还基于合成的IHC图像在HER2表达评估中为将来的病理研究打开了大门。BCI数据集可以从https：//bupt-ai-cz.github下载。io/bci。
用于高光谱图像分类的量子启发光谱空间金字塔网络
高光谱图像 (HSI) 分类旨在为每个像素分配一个唯一标签，以识别不同土地覆盖的类别。现有的 HSI 深度学习模型通常采用传统学习范式。作为新兴机器，量子计算机在嘈杂的中尺度量子 (NISQ) 时代受到限制。量子理论为设计深度学习模型提供了一种新的范式。受量子电路 (QC) 模型的启发，我们提出了一种受量子启发的光谱空间网络 (QSSN) 用于 HSI 特征提取。所提出的 QSSN 由相位预测模块 (PPM) 和受量子理论启发的类测量融合模块 (MFM) 组成，以动态融合光谱和空间信息。具体而言，QSSN 使用量子表示来表示 HSI 长方体，并使用 MFM 提取联合光谱空间特征。量子表示中使用了 HSI 长方体及其由 PPM 预测的相位。使用 QSSN 作为构建块，我们进一步提出了一种端到端的量子启发式光谱空间金字塔网络 (QSSPN)，用于 HSI 特征提取和分类。在这个金字塔框架中，QSSPN 通过级联 QSSN 块逐步学习特征表示，并使用 softmax 分类器进行分类。这是首次尝试将量子理论引入 HSI 处理模型设计。在三个 HSI 数据集上进行了大量实验，以验证所提出的 QSSPN 框架相对于最新方法的优越性。
掩盖图像建模前进3D医学图像分析
最近，由于它能够从大量未标记的数据中学习，因此蒙版的图像建模（MIM）引起了很大的关注，并且已被证明对涉及自然IM的各种视觉任务有效。同时，由于数量的未标记图像以及质量标签的费用和困难，预计自我监督的学习3D医学图像的潜力预计将是巨大的。但是，MIM对医学图像的适用性仍然不确定。在本文中，我们证明了掩盖的进度建模方法除自然图像外，还可以推进3D医学图像分析。我们研究掩盖图像建模策略如何从3D医疗图像段的角度利用绩效，作为一项代表性的下游任务：i）与天真的对比度学习相比，掩盖的图像建模ap-par-ap-par-ap-par casge casge casge casgence convelence contergencience convergence contressed of被监督的火车的融合甚至更高（1.40×）得分（1.40×），并最终会产生较高的股票; ii）预测具有较高遮盖比和相对较小的斑块大小的原始体素值是用于医学图像的非琐碎的自我监督借口任务； iii）重建重建的轻量级解码器或投影头对3D医疗图像的掩盖图像模型非常可靠，该图像可以加快训练并降低成本； iv）最后，我们还研究了应用不同图像分辨率和标记的数据比率的不同实际情况下的MIM方法的有效性。匿名代码可在https：//github.com/zekaichen/mim-med3d上找到。
训练扩散模型通过增强学习
扩散模型在图像生成中表现出了前所未有的ca。然而，它们从原始训练集中纳入并扩大了数据偏差（例如性别，年龄），从而限制了产生的IMEG的多样性。在本文中，我们在基于图像集的重新函数的指导下，使用增强学习（RL）提出了一种面向多样性的细调方法（RL）。具体而言，所提出的奖励函数（表示为多样性奖励），利用一组生成的信息来评估当前生成分配W.R.T.的覆盖范围。参考分布，由一组无偏见的图像表示。建立在分布差异估计的概率方法的基础上，差异奖励可以有效地用一小部分图像来测量相对分布差距。我们进一步将扩散过程作为多步决策问题（MDP），并通过最大化多样性奖励来应用策略梯度方法来微调扩散模型。在放样后选择任务上验证了奖励，其中根据多样性奖励值选择了最多样化的图像的子集。我们还展示了我们的RL微调框架的有效性，可以通过不同类型的扩散模型（包括班级条件模型和文本条件模型，例如stablediffusion）增强图像生成的多样性。
从单目遥感图像进行 3D 建筑物重建
与从 LiDAR 数据和多视图影像重建相比，倾斜影像重建是大规模城市建模的重要研究问题和经济解决方案。然而，建筑物足迹和立面的部分不可见性、严重的阴影效应以及大范围区域内建筑物高度的极端变化等若干挑战将现有的基于单目影像的建筑物重建研究限制在某些应用场景中，即从近地面影像建模简单的低层建筑物。在本研究中，我们提出了一种新颖的单目遥感影像 3D 建筑物重建方法，解决了上述困难，从而为更复杂的场景提供了一种有吸引力的解决方案。我们设计了一个多任务建筑物重建网络 MTBR-Net，通过四个语义相关任务和三个偏移相关任务来学习倾斜影像的几何属性、3D 建筑物模型的关键组件及其关系。网络输出通过基于先验知识的 3D 模型优化方法进一步集成，以生成最终的 3D 建筑模型。在公共 3D 重建数据集和新发布的数据集上的结果表明，与目前最先进的方法相比，我们的方法将高度估计性能提高了 40% 以上，将分割 F1 分数提高了 2% - 4%。