文本对图像(T2I)生成模型最近成为一种强大的工具,可以创建照片现实的图像并引起多种应用。然而,将T2i模型的有效整合到基本图像分类任务中仍然是一个悬而未决的问题。促进图像锁骨表现的一种普遍的策略是通过使用T2I模型生成的合成图像来增强训练集。在这项研究中,我们仔细检查了当前发电和常规数据增强技术的缺点。我们的分析表明,这些方法努力产生既忠实的(就前景对象)而且针对领域概念的多样化(在背景上下文中)。为了应对这一挑战,我们引入了一种创新的类数据增强方法,称为diff-mix 1,该方法通过在类之间执行图像翻译来丰富数据集。我们的经验结果是,DIFF-MIX在信仰和多样性之间取得了更好的平衡,从而导致各种图像分类场景之间的性能显着提高,包括域名数据集的少量,常规和长尾分类。
立体图像超分辨率(Sterereosr)近年来引起了人们的关注,这是由于手机,自动驾驶汽车和机器人的双重摄像头广泛范围。在这项工作中,我们根据Swinir的扩展(最初是为单个图像还原设计的,又提出了一种名为SWINFSR的新定单方法,以及Fast Fourier卷积(FFC)获得的频域知识。具体来说,为了有效地收集全球信息,我们通过使用FFC明确地不明显地局限于SWINIR中的残留SWIN变压器块(RSTBS),并使用结果域知识,并采用结果的残留Swin傅立叶型跨前块(RSFTB)进行特征提取。此外,为了有效,准确的立体视图融合,我们提供了一个新的跨意见模块,称为RCAM,该模块的竞争性能高于竞争性能,同时比最先进的交叉意见模块更少的计算成本。广泛的实验结果和消融研究证明了我们提出的SWINFSR的有效性和效率。
联合学习允许分布式的医疗机构可以协作学习具有隐私保护的共享预测模型。在临床部署时,接受联邦学习的模型仍会在联邦外面完全看不见的霍斯群岛上使用时仍会遭受性能下降。在本文中,我们指出并解决了联合域的生成(FedDG)的新型问题设置,该设置旨在从多个分布式源域中学习联合模型,以便它可以直接概括为看不见的目标域。我们提出了一种新颖的方法,在持续频率空间(ELCF)中称为情节学习,通过启动每个客户端在数据分散率的挑战性约束下利用多源数据分布来利用多源数据分布。我们的方法通过有效的连续频率空间插值机制以隐私保护方式传输客户之间的分布信息。通过转移的多源分布,我们进一步仔细设计了面向边界的情节学习范式,以将本地学习暴露于域分布变化,尤其是在医学图像分割场景中尤其满足模型概括的挑战。在两个医学图像分割任务上,我们的方法的有效性优于最先进的表现和深入消融实验。可以在https://github.com/liuquande/feddg-elcfs上使用代码。
摘要 —近年来,深度学习 (DL) 对基于脑电图 (EEG) 的运动想象脑机接口 (MI-BMI) 的改进做出了重大贡献。在实现高分类准确率的同时,DL 模型的规模也不断扩大,需要大量的内存和计算资源。这对嵌入式 BMI 解决方案提出了重大挑战,该解决方案应通过本地处理数据来保证用户隐私、减少延迟和低功耗。在本文中,我们提出了 EEG-TCN ET,一种新颖的时间卷积网络 (TCN),它在只需要少量可训练参数的情况下实现了出色的准确率。其低内存占用和低推理计算复杂度使其适合在资源有限的边缘设备上进行嵌入式分类。在 BCI 竞赛 IV- 2a 数据集上的实验结果表明,EEG-TCN ET 在 4 类 MI 中实现了 77.35% 的分类准确率。通过为每个受试者找到最佳网络超参数,我们进一步将准确率提高到 83.84%。最后,我们在 Mother of All BCI Benchmarks (MOABB) 上展示了 EEG-TCN ET 的多功能性,这是一个包含 12 个不同 EEG 数据集和 MI 实验的大规模测试基准。结果表明,EEG-TCN ET 成功地推广到单个数据集之外,在 MOABB 上的表现比目前最先进的 (SoA) 好 0.25 倍。索引术语 — 脑机接口、运动意象、深度学习、卷积神经网络、边缘计算。
本文介绍了 DeepFLASH,一种用于基于学习的医学图像配准的高效训练和推理的新型网络。与从高维成像空间中的训练数据中学习空间变换的现有方法相比,我们完全在低维带限空间中开发了一种新的配准网络。这大大降低了昂贵的训练和推理的计算成本和内存占用。为了实现这一目标,我们首先引入复值运算和神经架构表示,为基于学习的配准模型提供关键组件。然后,我们构建了一个在带限空间中完全表征的变换场的显式损失函数,并且参数化要少得多。实验结果表明,我们的方法比最先进的基于深度学习的图像配准方法快得多,同时产生同样精确的对齐。我们在两种不同的图像配准应用中展示了我们的算法:2D 合成数据和 3D 真实脑磁共振 (MR) 图像。我们的代码可以在https://github.com/jw4hv/deepflash上找到。
基于变压器的模型已在包括图像超级分辨率(SR)在内的低级视觉任务中取得了显着的结果。但是,在获得全球信息时,基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素,已经提出了混合注意模型。此外,通过仅将像素的RGB损失(例如L 1)降至最低而无法捕获基本的高频降低,训练不足。本文提出了两种贡献:i)我们引入了卷积非本地稀疏注意(NLSA)块,以扩展混合变压器体系结构,以增强其接受场。ii)我们采用小波损失来训练变压器模型,以提高定量和主观性能。虽然先前已经探索过小波损耗,但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明,所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。
我们介绍C ONTITION- WARE神经N ETWORK(CAN),这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行,可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的,该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是,Ca n与有效的T(CAT)结合在Imagenet 512×512上达到2.78 FID,超过DIT-XL/2,同时每个采样步骤需要少52×MAC。
核磁共振 (NMR) 是对原子核磁特性的光谱研究。原子核的质子和中子具有与其核自旋和电荷分布相关的磁场。共振是一种能量耦合,当单个原子核被置于强外部磁场中时,它会选择性地吸收并随后释放这些原子核及其周围环境所特有的能量。自 20 世纪 40 年代以来,NMR 信号的检测和分析已作为化学和生物化学研究中的分析工具得到了广泛的研究。NMR 不是一种成像技术,而是一种提供有关放置在小体积、高场强磁性装置中的样本的光谱数据的方法。在 20 世纪 70 年代初,人们意识到磁场梯度可用于定位 NMR 信号并生成显示质子磁特性的图像,反映临床相关信息,再加上技术进步和“体型”磁体的发展。随着 20 世纪 80 年代中期临床成像应用的增多,“核”含义被抛弃,磁共振成像 (MRI) 及其大量相关缩略词开始被医学界普遍接受。随着磁场强度更高的磁铁以及解剖、生理和光谱研究的改进,MR 应用的临床意义不断扩大。对软组织差异的高对比敏感度以及使用非电离辐射对患者的固有安全性是 MRI 取代许多 CT 和投影射线照相方法的主要原因。随着图像质量、采集方法和设备设计的不断改进,MRI 通常是检查患者解剖和生理特性的首选方式。但它也存在缺点,包括设备和选址成本高、扫描采集复杂、成像时间相对较长、图像伪影明显、患者幽闭恐惧症以及 MR 安全问题。本章回顾了磁学的基本特性、共振概念、组织磁化和弛豫事件、图像对比度的生成以及获取图像数据的基本方法。第 13 章讨论了高级脉冲序列、图像特征/伪影的说明、MR 波谱、MR 安全性和生物效应。
Turner 等人的欧拉曲线变换 (ECT) 是嵌入单纯复形的完全不变量,易于进行统计分析。我们对 ECT 进行了推广,以提供同样方便的表示形式,用于加权单纯复形,例如在某些医学成像应用中自然出现的对象。我们利用 Ghrist 等人关于欧拉积分的工作来证明这个不变量——称为加权欧拉曲线变换 (WECT)——也是完整的。我们解释了如何将灰度图像中分割的感兴趣区域转换为加权单纯复形,然后转换为 WECT 表示。该 WECT 表示用于研究多形性胶质母细胞瘤脑肿瘤形状和纹理数据。我们表明,WECT 表示可根据定性形状和纹理特征有效地对肿瘤进行聚类,并且这种聚类与患者生存时间相关。
抽象的脑肿瘤分割是对医疗保健中诊断和治疗计划很重要的重要步骤。大脑MRI图像是根据建议的方法在收集数据并准备进一步分析之前先进行预处理的。建议的研究介绍了一种新策略,该策略使用以生物启发的粒子群优化(PSO)算法来分割脑肿瘤图像。为了提高准确性和可靠性,可以调整分割模型的参数。标准措施等标准度量,例如精度,精度,灵敏度,jaccard索引,骰子系数,特异性,用于绩效评估,以衡量建议的基于PSO的分割方法的有效性。建议方法的总体准确性为98.5%。随后的绩效分析分别为骰子得分系数,Jaccard指数,精度,灵敏度和特异性的91.95%,87.01%,92.36%,90%和99.7%的结果提供了更好的结果。因此,此方法对于放射科医生来说可能是有用的工具,可以支持它们诊断大脑中的肿瘤。关键字 - 脑肿瘤,群智能,粒子群优化,磁共振图像。