XiaoMi-AI文件搜索系统
World File Search SystemIma
镜子u-net：将多模式裂变与多任务学习嫁给医学成像中的语义分割
正电子发射断层扫描（PET）和计算的刻录术（CT）通常共同用于检测肿瘤。PET/CT分割模型可以自动化肿瘤的描述，但是，当前的多模式模型不能完全阐明每种模式中的互补信息，因为它们要么串联PET和CT数据，要么在决策水平上融合它们。为了对抗这一点，我们提出了镜像u-net，它通过将多模式表示形式分配到模态特异性的解码器分支和辅助多模态解码器中，以多模态化的方式代替了传统的融合方法。在这些分支上，镜像u-net标志着一个针对每种模式量身定制的任务，以增强单峰特征，同时保留共享表示中的多模式特征。与以前的方法相比使用了其他方法或多任务学习，Mirror U-net将两个范式结合在一个统一的框架中。我们探索各种任务组合，并检查在模型中共享的哪些参数。我们在Autopet PET/CT和多模式MSD Braintumor数据集上评估了Mirror U-NET，证明了其在多模式分段中的有效性并在两个数据集中实现了先进的性能。代码：https：//github.com/zrrrrr1997/ autopet_challenge_mirrorunet
训练小波域损失的训练生成图像超分辨率模型可以更好地控制伪影
抽象的超分辨率（SR）是一个不当的反问题，其中具有给定低分辨率图像的可行解决方案集的大小非常大。已经提出了许多算法，以在可行的解决方案中找到一种“好”解决方案，这些解决方案在忠诚度和感知质量之间取得了平衡。不幸的是，所有已知方法都会生成伪影和幻觉，同时试图重建高频（HF）图像细节。一个有趣的问题是：模型可以学会将真实图像细节与文物区分开吗？尽管有些重点侧重于细节和影响的分化，但这是一个非常具有挑战性的问题，并且尚待找到满意的解决方案。本文表明，与RGB域或傅立叶空间损耗相比，使用小波域损失功能训练基于GAN的SR模型可以更好地学习真正的HF细节与伪像的表征。尽管以前在文献中已经使用了小波域损失，但在SR任务的背景下没有使用它们。更具体地说，我们仅在HF小波子带上而不是在RGB图像上训练鉴别器，并且发电机受到小波子带的忠诚度损失的训练，以使其对结构的规模和方向敏感。广泛的实验结果表明，我们的模型根据多种措施和视觉评估实现了更好的感知延续权权衡。
心理测量：一种用于从人类大脑活动重建图像的万能模型
通过脑机接口，重建所看到的人脑活动图像连接了人机视觉和计算机视觉。由于个体之间大脑功能存在固有差异，现有文献主要集中于使用每个人各自的脑信号数据为每个人获取单独的模型，而忽略了这些数据之间的共性。在本文中，我们设计了心理测量学，这是一个全方位模型，用于重建从不同受试者获得的功能性磁共振成像 (fMRI) 图像。心理测量学包含一个全方位专家混合 (Omni MoE) 模块，其中所有专家共同努力捕捉受试者间的共性，而与特定受试者参数相关的每个专家则负责处理个体差异。此外，心理测量学还配备了一种检索增强推理策略，称为 Ecphory，旨在通过检索预先存储的特定受试者记忆来增强学习到的 fMRI 表征。这些设计共同使心理测量变得万能而高效，使其能够捕捉受试者之间的共性和个体差异。因此，增强的 fMRI 表征可作为条件信号来指导生成模型重建高质量逼真的图像，从而使心理测量在高级和低级指标方面都成为最先进的技术。
从文本到图像综合的前景 - 背景分割的无监督共同生成
文本对图像（T2I）合成是一项艰巨的任务，该任务是对文本和图像域及其关系进行建模。最近作品实现的图像质量的实质性改进为Nuberon应用程序铺平了道路，例如语言辅助图像编辑，计算机辅助设计，基于文本的图像检索和培训数据增强。在这项工作中，我们提出了一个简单的问题：与逼真的图像一起，我们是否可以以一种不受影响的方式获得任何有用的副产品（例如前景 /背景或多类分割掩码，检测标签，检测标签），这也将使其他计算机视觉任务任务和应用受益？试图回答这个问题，我们探索了从给定文本中的逼真的图像及其相应的前景 /背景分割掩码。为了实现这一目标，我们与GAN一起实验了共进行分割的概念。具体而言，提出了一种名为“共裂”启发的GAN（COS-GAN）的新型GAN结构，该结构同时从不同的噪声矢量中同时生成两个或多个图像，并利用图像特征之间的空间关注机制来生成逼真的分段掩码，以生成生成的Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Im-Agens。这种架构的优点是两倍：1）生成的分割掩码可用于专注于前景和背景，以改善生成的图像的质量，2）分段蒙版可以用作其他任务的训练目标，例如访问本地化和分割。在CUB，Oxford-102和可可数据集上进行的广泛实验表明，Cos-Gan能够改善视觉质量，并为发电图像提供可靠的前景 /背景掩码。
利用卷积神经网络进行快速对称微分同胚图像配准
微分同胚可变形图像配准在许多医学图像研究中至关重要，因为它提供了独特的属性，包括拓扑保存和变换的可逆性。最近基于深度学习的可变形图像配准方法利用卷积神经网络（CNN）从合成基本事实或相似性度量中学习空间变换，从而实现快速图像配准。然而，这些方法往往忽略了变换的拓扑保存和变换的平滑性，而平滑性仅由全局平滑能量函数来强制执行。此外，基于深度学习的方法通常直接估计位移场，这不能保证逆变换的存在。在本文中，我们提出了一种新颖的、有效的无监督对称图像配准方法，该方法最大化微分同胚图空间内图像之间的相似性，并同时估计正向和逆变换。我们使用大规模脑图像数据集在 3D 图像配准上评估了我们的方法。我们的方法实现了最先进的配准精度和运行时间，同时保持了理想的微分同胚特性。
反事实说明的文本到图像模型
本文解决了生成法定说明（CES）的挑战，涉及识别和修改最少的必要特征，以使分类器对给定图像的预测进行预测。我们提出的方法是反事实e xplanations（Time）的tept to-i mage m odels，是一种基于蒸馏的黑盒反事实技术。与以前的方法不同，此方法仅需要图像及其预测，从而忽略了分类器的结构，参数或梯度的需求。在生成反事实之前，时间将两个不同的偏见引入了文本嵌入的形式稳定扩散：与图像的结构相关联的上下文偏差和类别偏见，与目标分类器学到的类特异性特征相关。学习了这些偏见后，我们发现了使用类预测的类令牌的最佳潜在代码，并使用目标嵌入作为条件，从而产生了符合性的解释。广泛的经验研究证明，即使在黑色盒子设置中运行时，时间也可以产生可比性的解释。
磁共振基础知识：磁场、核磁特性、组织对比度、图像采集
核磁共振 (NMR) 是对原子核磁特性的光谱研究。原子核的质子和中子具有与其核自旋和电荷分布相关的磁场。共振是一种能量耦合，当单个原子核被置于强外部磁场中时，它会选择性地吸收并随后释放这些原子核及其周围环境所特有的能量。自 20 世纪 40 年代以来，NMR 信号的检测和分析已作为化学和生物化学研究中的分析工具得到了广泛的研究。NMR 不是一种成像技术，而是一种提供有关放置在小体积、高场强磁性装置中的样本的光谱数据的方法。在 20 世纪 70 年代初，人们意识到磁场梯度可用于定位 NMR 信号并生成显示质子磁特性的图像，反映临床相关信息，再加上技术进步和“体型”磁体的发展。随着 20 世纪 80 年代中期临床成像应用的增多，“核”含义被抛弃，磁共振成像 (MRI) 及其大量相关缩略词开始被医学界普遍接受。随着磁场强度更高的磁铁以及解剖、生理和光谱研究的改进，MR 应用的临床意义不断扩大。对软组织差异的高对比敏感度以及使用非电离辐射对患者的固有安全性是 MRI 取代许多 CT 和投影射线照相方法的主要原因。随着图像质量、采集方法和设备设计的不断改进，MRI 通常是检查患者解剖和生理特性的首选方式。但它也存在缺点，包括设备和选址成本高、扫描采集复杂、成像时间相对较长、图像伪影明显、患者幽闭恐惧症以及 MR 安全问题。本章回顾了磁学的基本特性、共振概念、组织磁化和弛豫事件、图像对比度的生成以及获取图像数据的基本方法。第 13 章讨论了高级脉冲序列、图像特征/伪影的说明、MR 波谱、MR 安全性和生物效应。
任何时间图像生成的嵌套扩散过程
扩散模型是生成时期的当前最新模型，它通过将生成过程分解为许多细粒度的排除步骤，从而综合了高质量的图像。尽管其性能良好，但扩散模型在计算上还是需要许多Neu-ral功能评估（NFES）。在这项工作中，我们提出了一种基于扩散的方法，该方法在完成前在任意时间停止时可以生成可行的图像。使用现有的预处理扩散模型，我们表明可以将生成方案重新组成为两个嵌套扩散过程，从而可以快速迭代的迭代细化。在实验和基于稳定的基于扩散的文本对图像生成的实验中，我们在定性和定量上都表明，我们的方法的相互作用质量大大超过了原始扩散模型的质量，而最后一代结果仍然可比。我们说明了嵌套扩散在多种设置中的适用性，包括用于求解逆概率，以及在整个采样过程中允许用户干预，用于快速基于文本的内容创建。1
课程点提示弱监督的参考图像分割
参考图像分割（RIS）的目的是通过相应的静脉语言表达式精确地分段图像中的对象，但依赖于成本密集的掩码注释。弱监督的RIS因此从图像文本对学习到像素级语义，这是用于分割细粒面罩的挑战。自然而然地提高了分割精度，是用图像分割模型SAM赋予弱监督的RI。尽管如此，我们观察到，简单地整合SAM会产生有限的收益，甚至由于不可避免的噪声而导致性能回归，而过度关注对象部分的挑战和挑战。在本文中，我们提出了一个创新的框架，即P PPT（PPT），与拟议的多源课程学习策略合并，以解决这些挑战。具体来说，PPT的核心是一个点发生器，它不仅可以利用Clip的文本图像对准能力和SAM强大的掩膜生成能力，而且还产生了负点提示，以固有，有效地解决嘈杂和过度的焦点问题。在适当的情况下，我们引入了一种以对象为中心图像的课程学习策略，以帮助PPT逐渐从更简单但精确的语义一致性中学习到更复杂的RIS。实验表明，我们的PPT在MIOU上显着胜过弱监督的技术，分别为11.34％，14.14％和6.97％，分别为6.97％。
深层：使用深度学习和公共多光谱图像促进大规模自动化树库存
Deeptrees项目提供了用于培训，微调和部署深度学习模型的工具，以使用德国的数字矫正图计划（DOP）以20 cm的分辨率从德国的数字矫正图计划（DOP）中使用公共访问的图像进行诸如Tree Crown分割，树状特征检测和树种分类。这些DOP图像是根据“ Amtliches popographis-kartographissches Informationssystems”（AKTIS）指南进行标准化的，以确保其长期使用的可靠性和一致性[2]。利用深层python软件包，我们成功地绘制了萨克森州（137,293,260棵树）和萨克森 - 安哈尔特（81,449,641棵树）的218,742,901棵树，展示了该工具在森林，Urban和乡村环境中的可伸缩性（图1）。这些数据集为市政当局和机构提供了宝贵的见解，以管理街道树木，监测城市绿化和评估森林健康，从而实现更明智的决策和可持续的管理实践。