XiaoMi-AI文件搜索系统
World File Search System模态
MMCFormer：用于脑肿瘤分割的缺失模态补偿变换器
人类脑肿瘤，更具体地说是神经胶质瘤，是最危及生命的癌症之一，通常由神经胶质干细胞异常生长引起。实际上，磁共振成像 (MRI) 模态提供不同的对比度来阐明组织特性，提供有关大脑结构的全面信息以及检测肿瘤的潜在线索。因此，多模态 MRI 通常用于诊断脑肿瘤。然而，由于获取的模态集可能因临床部位而异，脑肿瘤研究可能会遗漏一两种 MRI 模态。为了以端到端的方式解决缺失信息，我们提出了 MMCFormer，一种新颖的缺失模态补偿网络。我们的策略建立在 3D 高效转换器块之上，并使用共同训练策略来有效地训练缺失模态网络。为了确保多尺度特征一致性，MMCFormer 在编码器的每个尺度上都使用全局上下文一致性模块。此外，为了传输特定于模态的表示，我们建议在瓶颈阶段加入辅助标记，以对完整和缺失模态路径之间的交互进行建模。最重要的是，我们包括特征一致性损失，以减少网络预测中的域差距并提高缺失模态路径的预测可靠性。在 BraTS 2018 数据集上进行的大量实验证明了我们的方法与竞争方法相比的优势。实现代码可在 GitHub 上公开获取。关键词：Transformer、缺失模态、分割、MRI、医学。
心脏毒性多模态医学成像技术区域培训课程
心血管疾病 (CVD) 和癌症是拉丁美洲 (LA) 的主要死亡原因。这两种非传染性疾病 (NCD) 的共同风险因素包括吸烟习惯、缺乏运动、血脂异常、糖尿病、高血压和肥胖，这些风险是由慢性炎症和氧化应激等生理病理过程引起的。人们已经开发出新药来提高癌症的存活率和缓解率。然而，由于这些疗法具有心脏毒性，因此存在一个重要的警告。心脏毒性是肿瘤治疗的已知不良事件，在许多情况下会限制治疗的充分实施，从而降低疗效。因此，了解病理生理和分子基础对于制定预防和治疗措施至关重要，这些措施可以降低心脏毒性的发生率，而不会影响肿瘤治疗的有效性。将使用在之前的 ARCAL 项目中已经建立的成像多模态诊断单元，并因此培训人力资源，考虑采用性别和性别方法来管理癌症患者的心脏毒性。核技术与这些单元相关，因为它们可用于检测缺血和评估心室功能。这项新提案是 ARCAL 项目 RLA6086 的延续：“拉丁美洲女性的心血管疾病。核医学技术与多模态方法在心脏病学中的作用”。它代表了自然的演变，因为从缺血性心脏病的评估开始，将对化疗和放疗后的心血管并发症进行评估，重点是女性。
M3AE：脑肿瘤分割的多模式表示学习缺失模态
多模式磁共振成像（MRI）提供了用于脑肿瘤的亚区域分析的互补信息。已经提出了大量方法，用于使用四种常见的MRI模态自动分割自动脑肿瘤，并实现了显着的性能。在实践中，由于图像腐败，工件，获取协议，对比对比代理或仅成本，因此缺少一种或多种模式是通常的。在这项工作中，我们为脑肿瘤分割的新型两阶段框架提供了缺失的方式。在第一阶段，提出了多模式掩蔽的自动编码器（M 3 AE），其中ran dom情节（即模态辍学）和剩余模式的随机斑块都均被掩盖，以进行重新构的任务，以进行自我检查的自我检查，以对鲁棒多模态表示反对损坏的模态抗衡。为此，我们将框架命名为M 3 AE。同时，我们采用模型反转以边际额外成本优化代表性的全模式图像，该图像将用于替代缺失的模式并在推断期间提高性能。然后在第二阶段，提出了一种记忆有效的自我提炼，以在异源缺失模式情况下提炼知识，同时仔细调整模型以进行分割。我们的M 3 AE属于“全部”类型，其中一个模型可以应用于所有可能的模式子集，因此对于培训和部署都是经济的。我们的代码可在以下网址找到：https：//github.com/ccarliu/m3ae。对Brats 2018和2020年数据集进行了广泛的实验，证明了其优越的性能，具有缺失模式的最新方法以及其组件的功效。
使用神经网络对 3D 脑部扫描进行多模态分割
脑部扫描的解剖分割与诊断和神经放射学研究高度相关。由于软组织对比度强，传统上分割是在 T 1 加权 MRI 扫描上进行的。在这项工作中，我们报告了一项基于学习的自动化脑部分割的比较研究，该研究针对 MRI 和计算机断层扫描 (CT) 扫描的各种其他对比度进行，并研究了这些成像模式中包含的解剖软组织信息。总共包含 853 个 MRI/CT 脑部扫描的大型数据库使我们能够训练卷积神经网络 (CNN) 进行分割。我们在四种不同的成像模式和 27 个解剖子结构上对 CNN 性能进行了基准测试。对于每种模式，我们基于一个通用架构训练一个单独的 CNN。我们发现平均 Dice 得分分别为 86.7 ± 4.1 %（T 1 加权 MRI）、81.9 ± 6.7 %（液体衰减反转恢复 MRI）、80.8 ± 6.6 %（扩散加权 MRI）和 80.7 ± 8.2%（CT）。性能是相对于使用广泛采用的 FreeSurfer 软件包获得的标签进行评估的。分割管道使用 dropout 采样来识别损坏的输入扫描或低质量分割。在图形处理单元上，对超过 200 万人素的 3D 体积进行完整分割需要不到 1 秒的处理时间。
利用单眼动模式简化多模态情绪识别
多模态情绪识别一直是情感计算的热门话题，因为与单一模态相比，它能显著提高识别性能。其中，脑电图 (EEG) 和眼动信号的组合由于它们的互补性和客观性而成为最有吸引力的实践之一。然而，脑电图信号采集的高成本和不便性严重阻碍了多模态情绪识别在实际场景中的普及，而眼动信号则更容易获取。为了在不影响性能的情况下提高情绪解码的可行性和泛化能力，我们提出了一个基于生成对抗网络的框架。在我们的模型中，单一模态的眼动作为输入，它能够将信息映射到多模态特征上。在不同情绪类别的 SEED 系列数据集上的实验结果表明，与使用多模态输入的模型相比，使用单一眼动模态生成的多模态特征的模型保持了具有竞争力的准确率，并且大大优于那些单模态情绪分类器。这说明该模型有可能在不牺牲性能的情况下减少对多模态的依赖，从而使情绪识别更具适用性和实用性。
通过传输实现多模态 CT 图像超分辨率 - NSF-PAR
多模态 CT 扫描，包括非造影 CT、CT 灌注和 CT 血管造影，广泛用于急性中风诊断和治疗计划。虽然每种成像模式在脑横截面特征可视化方面都有其优势，但不同模式的图像分辨率不同，这妨碍了放射科医生辨别一致但细微的可疑发现的能力。此外，更高的图像质量需要更高的辐射剂量，从而增加白内障形成和癌症诱发等健康风险。在这项工作中，我们提出了一种基于深度学习的方法 Transfer-GAN，该方法利用生成对抗网络和迁移学习来提高多模态 CT 图像分辨率并降低必要的辐射暴露。通过大量实验，我们证明，与不学习先验知识的训练相比，从多模态 CT 进行的迁移学习提供了显着的可视化和数量增强。
多模态 X 射线实验和可重复分析的来源基础设施
本报告是由美国政府某个机构资助的工作报告。美国政府或其任何机构、其雇员、承包商、分包商或其雇员均不对所披露信息、设备、产品或流程的准确性、完整性或任何第三方的使用或此类使用结果做任何明示或暗示的保证，或承担任何法律责任或义务，或表示其使用不会侵犯私有权利。本文以商品名、商标、制造商或其他方式提及任何特定商业产品、流程或服务，并不一定构成或暗示美国政府或其任何机构、其承包商或分包商对其的认可、推荐或支持。本文表达的作者的观点和意见不一定代表或反映美国政府或其任何机构的观点和意见。
基于图像和临床生物医学的多模态机器学习：调查与展望
摘要 机器学习 (ML) 在医学人工智能 (AI) 系统中的应用已从传统和统计方法转变为越来越多地使用深度学习模型。本综述介绍了多模态 ML 的当前发展情况，重点介绍了其对医学图像分析和临床决策支持系统的深远影响。本文强调了解决多模态表示、融合、翻译、对齐和共同学习方面的挑战和创新，探讨了多模态模型对临床预测的变革潜力。它还强调了对此类模型进行原则性评估和实际实施的必要性，并引起了人们对决策支持系统与医疗保健提供者和人员之间动态关系的关注。尽管取得了进展，但许多生物医学领域仍然存在数据偏见和“大数据”稀缺等挑战。最后，我们讨论了原则性创新和协作努力，以进一步实现将多模态 ML 模型无缝集成到生物医学实践中的使命。
smu-net：样式匹配脑瘤分割的u-net缺失模态
神经胶质瘤是原发性脑肿瘤最普遍的类型之一，占所有病例的30％以上，它们是从神经胶质茎或祖细胞中发育的。从理论上讲，大多数脑肿瘤可以完全通过使用磁共振成像（MRI）来识别。每种MRI模态都提供有关人脑软组织的不同信息，并整合所有MRI的信息将提供全面的数据，以准确分割神经胶质瘤，这对于患者的预后，诊断和确定最佳后续治疗至关重要。不幸的是，由于多种原因，MRI容易出现工件，这可能导致缺少一种或多种MRI方式。多年来，已经提出了各种策略，以综合缺失的方式或补偿其对自动分割模型的影响。但是，这些方法通常无法对基础丢失的信息进行建模。在本文中，我们为MRI图像上的脑肿瘤分割提供了一种匹配的U-NET（SMU-NET）。我们的共同训练方法利用内容和样式匹配机制将信息从全模式网络提炼为缺失的模态网络。为此，我们将全模式和缺失模式数据编码为潜在空间，然后将表示空间分解为样式和内容表示形式。我们的样式匹配模块通过学习匹配函数以将信息和纹理特征从全模式路径传输到缺失模式路径，从而自适应地重新校准表示空间。此外，通过对互信息进行建模，我们的内容模式超过了信息较少的特征，并根据歧视性语义特征重新校准表示空间。BRATS 2018数据集的评估过程显示了所提出的方法在缺失模态方案上的重要性。关键字：缺失方式，脑肿瘤，内容式匹配，分割。
使用解缠结潜伏扩散模型生成多模态脑肿瘤 MRI
基于深度学习的图像生成方法已被广泛用于克服数据不足。在医疗领域也是如此，数据短缺问题经常发生。在本研究中，我们提出了多模态脑肿瘤磁共振成像（MRI）生成框架，称为解缠结潜在扩散模型（DLDM），以解决医学成像中的数据不足问题。我们训练一个自动编码器，将多模态 MRI 图像的特征解缠结为模态共享和模态特定表示。通过利用从自动编码器学到的特征解缠结，我们能够训练一个可以生成模态共享和模态特定潜在向量的扩散模型。我们用 clean-FID 和改进的准确率和召回率评估了我们的方法。将结果与基于 GAN 的模型 StyleGAN2 进行了比较。关键词：生成、多模态、MRI、特征解缠结、扩散模型。