XiaoMi-AI文件搜索系统
World File Search System图像空间
自监督自然图像重建和大型...
从 fMRI 脑记录中重建自然图像并解码其语义类别是一项挑战。获取足够多的图像对及其相应的 fMRI 响应（这些响应涵盖了巨大的自然图像空间）是难以实现的。我们提出了一种新颖的自监督方法，该方法远远超出了稀缺的配对数据，用于实现：（i）最先进的 fMRI 到图像重建，以及（ii）首次从 fMRI 响应进行大规模语义分类。通过在一对深度神经网络（从图像到 fMRI 和从 fMRI 到图像）之间施加循环一致性，我们在来自许多新颖语义类别的大量“未配对”自然图像（没有 fMRI 记录的图像）上训练我们的图像重建网络。这使得我们的重建网络能够适应非常丰富的语义覆盖，而无需任何明确的语义监督。具体而言，我们发现将我们的自监督训练与高级感知损失相结合，可以产生新的重建和分类能力。具体来说，这种感知训练能够很好地对从未见过的语义类别的 fMRI 进行分类，而无需在训练期间使用任何类别标签。这带来了：（i）前所未有的从从未见过的图像的 fMRI 图像重建（通过图像指标和人工测试进行评估），以及（ii）在网络训练期间对从未见过的类别进行大规模语义分类。以前从未证明过从 fMRI 记录中进行如此大规模（1000 种）语义分类。最后，我们为所学模型的生物一致性提供了证据。
使用自组织映射的量化误差（......
摘要。这些研究利用了自组织映射 (SOM) 学习后输出的量化误差 (QE)。SOM 学习应用于具有可变白色和暗像素内容相对量的空间对比图像的时间序列，如单色医学图像或卫星图像。事实证明，学习后 SOM 输出的 QE 提供了图像随时间变化的潜在关键变化的可靠指标。当对比度强度保持不变时，QE 会随着图像空间对比度内容随时间的变化而线性增加。使用超快速 SOM 学习后，该指标能够捕捉大量图像时间序列中最小的变化，这一点迄今为止从未被怀疑过，这一点在计算机生成的图像、MRI 图像时间序列和卫星图像时间序列的 SOM 学习研究中得到了说明。对给定系列图像的拍摄时间的 QE 变化进行线性趋势分析，证明了该指标作为局部变化指标的统计可靠性。结果表明，QE 与记录测试图像系列的同一参考时间段内的重要临床、人口统计学和环境数据相关。研究结果表明，SOM 的 QE 易于实现，对于给定的 20 到 25 个图像系列，计算时间不超过几分钟，当目标是提供与图像间变化/无变化相关的即时统计决策时，它可用于快速分析整个图像数据系列。关键词。自组织映射 (SOM)、量化误差、图像时间序列、空间对比度、可变性、变化检测。
通过深度学习推进医学成像信息学...
摘要简介：用于医学成像的深度学习 (DL) 模型发展迅速。然而，DL 需要大量标记数据集来训练模型。获取大规模标记数据仍然是一个挑战，并且由于患者的多样性和不同的成像协议，多中心数据集存在异质性。域自适应 (DA) 已经开发出来将知识从标记数据域转移到图像空间或特征空间中的相关但未标记的域。DA 是一种迁移学习 (TL)，当应用于多个不同的数据集时可以提高模型的性能。目标：在这篇调查中，我们回顾了用于医学成像的最先进的基于 DL 的 DA 方法。我们旨在总结最近的进展，强调动机、挑战和机遇，并讨论未来医学成像 DA 工作的有希望的方向。方法：我们调查了 2017 年至 2020 年间来自领先生物医学期刊和会议的经过同行评审的出版物，这些出版物报告了 DA 在医学成像应用中的使用情况，并按方法、图像模态和学习场景对它们进行分组。结果：我们主要关注病理学和放射学作为应用领域。在各种 DA 方法中，我们讨论了域变换 (DT) 和潜在特征空间变换 (LFST)。我们强调了无监督 DA 在图像分割中的作用，并描述了未来的发展机会。结论：DA 已经成为一种有前途的解决方案，可以解决缺乏带注释的训练数据的问题。使用对抗技术，无监督 DA 已经取得了良好的性能，尤其是在分割任务方面。机会包括域可转移性、多模态 DA 和受益于合成数据的应用程序。
使用电活化的定量相成像
抽象检索纳米级在纳米级的电阻图迅速通过无损的信号噪声比快速检查是一种未满足的需求，这可能会影响从生物医学到能量转化的各种应用。在这项研究中，我们开发了一种多模式功能成像仪器，其特征在于阻抗映射和相位定量，高空间分辨率和低时间噪声的双重能力。为了实现这一目标，我们推进了一个定量的相成像系统，称为Epi-Magnififer图像空间光谱显微镜结合了电动启动，以提供光路和电阻抗的互补图。我们用光路差和电阻抗变化的高分辨率图展示了我们的系统，这些图可以区分纳米化的，半透明的结构化涂层，涉及两种具有相对相似电性能的材料。我们绘制的异质界面对应于与钛（二氧化物）在玻璃支撑上沉积的钛（二氧化物）的过层中的直径较小的孔暴露的二锡氧化物层。我们表明，在宏观电极的相位成像期间的电气调制是决定性地检索具有亚微米空间分辨率的电阻抗分布，并且超出了基于电极的技术（表面或扫描技术）的局限性。发现，这些发现是通过理论模型证实的，该模型可以很好地拟合实验数据，从而可以通过高空间和时间分辨率实现电流图。新颖的光电化学方法的优点和局限性为测量本地电力场测量的更广泛的电气调制光学方法提供了基础。
多中心 - 私人 - 抛光模型 - 深度训练 -
目标：这项工作旨在探索多中心数据异质性对深度学习脑转移（BM）自动分量性能的影响，并评估增量转移学习技术的功效，即不忘记（LWF），以提高模型性能而无需共享原始数据。材料和方法：使用了埃尔兰根大学医院（UKER），苏黎世大学医院（USZ），斯坦福大学，纽约大学（纽约大学）和Brats Challenge 2023的六个BM数据集。首先，分别为单一中心训练和混合多中心训练建立了用于BM自动分量的DeepMedic网络的性能。随后评估了保护隐私的双边合作，其中有一个验证的模型将分享到其他带有LWF或不带有LWF的转移学习（TL）的进一步培训中心。结果：对于单中心训练，在各自的单中心测试数据上，BM检测的平均F1得分范围从0.625（NYU）到0.876（UKER）。混合的多中心训练明显提高了斯坦福大学和纽约大学的F1分数，其他中心的改进可以忽略不计。当将UKER预告量化的模型应用于USZ时，LWF的平均F1得分（0.839）比NAIVE TL（0.570）和单中心训练（0.688）高于UKER和USZ测试数据。幼稚的TL提高了灵敏度和轮廓精度，但会损害精度。相反，LWF表现出值得称赞的灵敏度，精度和轮廓精度。应用于斯坦福大学时，观察到类似的性能。结论：数据异质性（例如，转移密度，空间分布和图像空间分辨率的变化）导致BM自动分量的性能变化，从而对构建概括性提出了挑战。LWF是对点对点隐私模型培训的有前途的方法。
放射治疗和肿瘤学
目标：本研究旨在探索多中心数据异质性对深度学习脑转移瘤 (BM) 自动分割性能的影响，并评估增量迁移学习技术，即不遗忘学习 (LWF)，在不共享原始数据的情况下提高模型通用性的有效性。材料和方法：使用了来自埃尔朗根大学医院 (UKER)、苏黎世大学医院 (USZ)、斯坦福大学、加州大学旧金山分校、纽约大学 (NYU) 和 BraTS Challenge 2023 的总共六个 BM 数据集。首先，分别针对单中心专项训练和混合多中心训练建立 DeepMedic 网络的 BM 自动分割性能。随后评估了隐私保护双边协作，其中将预训练模型共享到另一个中心以使用迁移学习 (TL) 进行进一步训练（带或不带 LWF）。结果：对于单中心训练，在各自的单中心测试数据上，BM 检测的平均 F1 分数范围从 0.625（NYU）到 0.876（UKER）。混合多中心训练显著提高了斯坦福大学和纽约大学的 F1 分数，而其他中心的提高可以忽略不计。当将 UKER 预训练模型应用于 USZ 时，在组合 UKER 和 USZ 测试数据上，LWF 获得的平均 F1 分数 (0.839) 高于朴素 TL (0.570) 和单中心训练 (0.688)。朴素 TL 提高了灵敏度和轮廓绘制精度，但损害了精度。相反，LWF 表现出值得称赞的灵敏度、精度和轮廓绘制精度。当应用于斯坦福大学时，观察到了类似的性能。结论：数据异质性（例如，不同中心的转移密度、空间分布和图像空间分辨率的变化）导致 BM 自动分割的性能不同，对模型的通用性提出了挑战。LWF 是一种很有前途的点对点隐私保护模型训练方法。
用于深度学习脑转移瘤自动分割的多中心隐私保护模型训练
目标：本研究旨在探索多中心数据异质性对深度学习脑转移瘤 (BM) 自动分割性能的影响，并评估增量迁移学习技术，即学习而不遗忘 (LWF)，在不共享原始数据的情况下提高模型通用性的有效性。材料和方法：使用了来自埃尔朗根大学医院 (UKER)、苏黎世大学医院 (USZ)、斯坦福大学、加州大学旧金山分校、纽约大学 (NYU) 和 BraTS Challenge 2023 的总共六个 BM 数据集。首先，分别针对单中心专项训练和混合多中心训练建立 DeepMedic 网络的 BM 自动分割性能。随后评估了隐私保护双边合作，其中将预训练模型共享到另一个中心以使用迁移学习 (TL) 进行进一步训练（带或不带 LWF）。结果：对于单中心训练，在相应的单中心测试数据上，BM 检测的平均 F1 分数范围为 0.625（NYU）至 0.876（UKER）。混合多中心训练显著提高了斯坦福大学和纽约大学的 F1 分数，而其他中心的改善可以忽略不计。当将 UKER 预训练模型应用于 USZ 时，在组合 UKER 和 USZ 测试数据上，LWF 获得的平均 F1 分数 (0.839) 高于朴素 TL (0.570) 和单中心训练 (0.688)。朴素 TL 提高了灵敏度和勾勒准确度，但损害了精度。相反，LWF 表现出令人称赞的灵敏度、精度和勾勒准确度。当应用于斯坦福大学时，观察到了类似的表现。结论：数据异质性（例如，不同中心的转移密度、空间分布和图像空间分辨率的变化）导致 BM 自动分割的性能不同，对模型的通用性构成挑战。LWF 是一种很有前途的点对点隐私保护模型训练方法。
深度学习的投影空间实施 -
我们的目的是评估低剂量（LD）PET图像和辛图中的全剂量（FD）PET图像合成的性能，而无需使用深度学习技术牺牲诊断质量。方法：回顾性使用140例患者的临床脑PET/CT研究。从FD列表模式PET数据中随机选择了5％的事件，以模拟现实的LD采集。促进了一个修改的3维U-NET模型，以分别从相应的LD辛图和图像中预测图像空间（PIS）中的投影空间（PSS）和FD图像中的FD曲目。使用5分评分方案评估了2个核医学专家的预测PET图像的质量。使用已建立的指标进行定量分析，包括峰值信噪比（PSNR），结构相似性指数指标（SSIM），区域性SUV偏置以及83个大脑区域中的第一，第二和高阶纹理放射线特征，用于测试和评估数据集中的83个大脑区域。结果：所有PSS图像均由核医学专家评分4或更高（良好至优秀）。PSNR和SSIM值分别为0.96±0.03和0.97±0.02，PSS分别获得了31.70±0.75和37.30±0.71的值。在所有大脑区域中计算出的平均SUV偏置分别为PSS和PI分别为0.24％±0.96％和1.05％±1.44％。与参考FD图像相比，PSS的平淡 - Altman图报告了PSS的最低SUV BI- AS（0.02）和方差（95％的置次间隔，-0.92至1 0.84）。PIS和PSS分别属于灰级共振矩阵类别的同质性放射线特征的相对误差分别为-1.07±1.77和0.28±1.4。结论：定性评估和定量分析表明，FD PET PSS提高了性能，从而提高了图像质量，而SUV偏置和方差较低，而SUV PET和差异要比FD PET PIS。
MOFA-VIDEO：通过生成运动场适应在冷冻图像到视频扩散模型中的可控图像动画
在过去，将图像栩栩如生被认为是魔术。在传统的中国故事“魔术刷妈的玛利安”中，作者想象着一支魔术笔可以直接绘制活着的照片。巧合的是，哈利·波特（Harry Potter）的故事创造了一个死去的祖先生活在墙壁绘画中的世界。除了小说之外，实现这一目标的探索从未停止。1878年，穆布里奇（Muybridge）提出了一个名为“马运动的马”的著名实验，该实验连续显示了一系列连续的跑步马的图片，可以被视为视频。随着数字设备的开发，当前方法试图使用计算机视觉算法[8,13,16,17,21,21,24,24,27,32,32,32,34,36，40，50]。但是，它面临着几个限制。一方面，这些方法通常集中在有限类别的动画对象上，例如流体[16、24、25]，人毛[37]和人体/脸部[6,8,9,13,13,17,27,27,32,34,36,36,50]。由于每种特定类型的领域知识，这些方法通常具有完全可控制的场景能力。，例如，sadtalker [50]可以通过音频和给定的脸产生准确的人脸动画。text2cinemagraph [25]使用文本描述来阐明水的自然动画。对于控制能力，这些方法通常遵循通过自我监督分解学习视频，然后通过新驾驶信号进行动画的规则。但是，由于先验自然动画的限制，由于一般域知识的多样性，这些方法在一般图像空间中失败。与以前的内域图像动画不同，基于当前扩散的图像 - to-video（i2v）方法学会以最终的方式从图像中生成视频。多亏了文本对图像模型的大规模生成之前，即稳定扩散[29]，这些方法[1,2,7,11,39]已证明了开放域图像动画的可能性。但是，它们生成的内容可能与给定的图像[1,2,11,39]不同，并且通常通过文本说明[1，2，39]或仅简单的空闲动画[7]产生简单的动作。这些缺点限制了其用于现实世界图像动画任务的应用程序，在该任务中，用户通常需要像以前的内构象中图像动画算法一样创建更可控制的视频。利用域中图像动画和图像到视频的几代，我们很好奇：是否有一个通用的图像动画框架
卫星海事图像上超分辨率的任意规模流量匹配
科学背景。目前正在绕地球从地球表面获取图像。由空间机构和政府运营的卫星星座，可以对所有土地表面和海洋进行全球监测。尽管这些非商业卫星提供了开放式和免费图像，但它们的空间决议通常受到限制，最多约为10米。尽管这些空间分辨率在各种应用中足够，但对于需要检测到诸如建筑物，树篱或动物等细节细节的特定应用程序，它们可能是有限的因素。可以人为地增强图像空间分辨率的可能解决方案是超分辨率（SR）。该技术可以被构架为一个倒数的问题，包括学习降解函数的倒数，可以应用于低空间分辨率（LR）图像以估计高空间分辨率（HR）图像。在该领域的最后十年中，学习策略的发展，尤其是深度学习，以学习降解功能，从而提高了这一领域的研究。最近，一种生成方法的扩散模型已实现了超分辨率的重大进展，尤其是在感知可视化方面[6]。在遥感的背景下，超级分辨率也因生成模型的最新进展[9]（包括扩散模型）的最新进展增强了，并使用了两个主要的并发设置，用于学习降级功能。第一个是使用通过对HR图像降采样的卫星图像的合成对训练模型的。在推断时，通常将训练的模型应用于HR图像，以估算一个非常高的空间分辨率（VHR）图像或另一个传感器捕获的真实LR图像。在这两种情况下，它都会由于数据分布在将模型应用于另一个空间分辨率或通过传感器特性的变化引起的比色变化而产生域间隙。为了克服该域间隙，第二个解决方案包括采用跨传感器设置，在该设置中，来自不同传感器的真实图像对训练超分辨率模型。这种现实的场景在训练过程中引起了额外的挑战，因为可能无法正确地共同注册图像，通过具有不同光谱特征的传感器捕获，并且在不同的时间，在观察值中造成了变化[5]。文献中没有共识，进一步的工作应该使使用超分辨率技术获得现实的HR