XiaoMi-AI文件搜索系统
World File Search System模态
M3AE：脑肿瘤分割的多模式表示学习缺失模态
多模式磁共振成像（MRI）提供了用于脑肿瘤的亚区域分析的互补信息。已经提出了大量方法，用于使用四种常见的MRI模态自动分割自动脑肿瘤，并实现了显着的性能。在实践中，由于图像腐败，工件，获取协议，对比对比代理或仅成本，因此缺少一种或多种模式是通常的。在这项工作中，我们为脑肿瘤分割的新型两阶段框架提供了缺失的方式。在第一阶段，提出了多模式掩蔽的自动编码器（M 3 AE），其中ran dom情节（即模态辍学）和剩余模式的随机斑块都均被掩盖，以进行重新构的任务，以进行自我检查的自我检查，以对鲁棒多模态表示反对损坏的模态抗衡。为此，我们将框架命名为M 3 AE。同时，我们采用模型反转以边际额外成本优化代表性的全模式图像，该图像将用于替代缺失的模式并在推断期间提高性能。然后在第二阶段，提出了一种记忆有效的自我提炼，以在异源缺失模式情况下提炼知识，同时仔细调整模型以进行分割。我们的M 3 AE属于“全部”类型，其中一个模型可以应用于所有可能的模式子集，因此对于培训和部署都是经济的。我们的代码可在以下网址找到：https：//github.com/ccarliu/m3ae。对Brats 2018和2020年数据集进行了广泛的实验，证明了其优越的性能，具有缺失模式的最新方法以及其组件的功效。
灵长类动物前额叶皮质发育过程中神经元成熟的多模态分析
Yu Gao 1 †, Qiping Dong 1 †, Kalpana Hanthanan Arachchilage 1,2 †, Ryan D. Risgaard 1 , Jie Sheng 1,2 , Moosa Syed 1 , Danielle K. Schmidt 1 , Ting Jin 1,2 , Shuang Liu 1 , Dan Doherty 2 , Ian Glass 2 , Birth Defects Research Laboratory 3 , Jon E. Levine 4,5 , Daifeng Wang 1,2,6 *, Qiang Chang 1,7,8 *, Xinyu Zhao 1,4 *, André M. M. Sousa 1,4 *
使用解缠结潜伏扩散模型生成多模态脑肿瘤 MRI
基于深度学习的图像生成方法已被广泛用于克服数据不足。在医疗领域也是如此，数据短缺问题经常发生。在本研究中，我们提出了多模态脑肿瘤磁共振成像（MRI）生成框架，称为解缠结潜在扩散模型（DLDM），以解决医学成像中的数据不足问题。我们训练一个自动编码器，将多模态 MRI 图像的特征解缠结为模态共享和模态特定表示。通过利用从自动编码器学到的特征解缠结，我们能够训练一个可以生成模态共享和模态特定潜在向量的扩散模型。我们用 clean-FID 和改进的准确率和召回率评估了我们的方法。将结果与基于 GAN 的模型 StyleGAN2 进行了比较。关键词：生成、多模态、MRI、特征解缠结、扩散模型。
MGEED：多模态真实情绪和表情检测数据库
摘要 — 近年来，多模态情绪识别引起了学术界和工业界越来越多的关注，因为它能够使用各种模态（如面部表情图像、语音和生理信号）进行情绪检测。尽管该领域的研究发展迅速，但由于难以捕捉自然和细微的面部表情信号（如眼肌电图 (OMG) 信号），创建包含面部电信息的多模态数据库仍然具有挑战性。为此，我们在本文中介绍了一个新开发的多模态真实情绪和表情检测 (MGEED) 数据库，这是第一个包含面部 OMG 信号的公开数据库。MGEED 包含 17 个受试者，拥有超过 150K 张面部图像、140K 张深度图和不同模态的生理信号，包括 OMG、脑电图 (EEG) 和心电图 (ECG) 信号。参与者的情绪由视频刺激引起，数据由多模态传感系统收集。利用收集的数据，开发了一种基于多模态信号同步、特征提取、融合和情绪预测的情绪识别方法。结果表明，通过融合视觉、EEG 和 OMG 特征可以获得优异的性能。数据库可从 https://github.com/YMPort/MGEED 获取。
用于实时位置相关缺陷的多模态传感器融合
实时缺陷检测对于激光定向能量沉积 (L-DED) 增材制造 (AM) 至关重要。传统的现场监测方法利用单个传感器（即声学、视觉或热传感器）来捕获复杂的过程动态行为，这不足以实现高精度和稳健性的缺陷检测。本文提出了一种新颖的多模态传感器融合方法，用于实时位置相关的机器人 L-DED 过程中的缺陷检测。多模态融合源包括捕捉激光-材料相互作用声音的麦克风传感器和捕捉同轴熔池图像的可见光谱 CCD 相机。提出了一种混合卷积神经网络 (CNN) 来融合声学和视觉数据。本研究的主要创新之处在于不再需要传统的手动特征提取程序，原始熔池图像和声学信号直接由混合 CNN 模型融合，该模型无需热传感模式即可实现最高的缺陷预测准确率 (98.5%)。此外，与以前基于区域的质量预测不同，所提出的混合 CNN 可以检测到缺陷发生的开始。缺陷预测结果与现场获取的机器人工具中心点 (TCP) 数据同步并注册，从而实现局部缺陷识别。所提出的多模态传感器融合方法为现场缺陷检测提供了一种可靠的解决方案。
迈向 6G：未来多模态性的机遇与挑战...
J. Güldenring、P. Gorczak、F. Eckermann、M. Patchou、J. Tiemann、F. Kurtz 和 C. Wietfeld，《超视距操作中无人搜救飞机系统的可靠远程多链路通信》，《无人机》，MDPI，第 4 卷，第 2 期，2020 年 5 月。
特征融合和潜在特征学习引导脑肿瘤分割和缺失模态恢复网络
准确的脑肿瘤分割是临床诊断和外科治疗的重要步骤。多模态脑肿瘤分割在很大程度上依赖于有效的融合方法和优秀的分割网络。然而，由于图像损坏、采集协议、扫描仪可用性和扫描成本等原因，临床场景中经常会缺少一些 MR 模态，这会严重降低肿瘤分割准确性，也会导致下游疾病分析的信息丢失。为了解决这个问题，我提出了一种新颖的多模态特征融合和潜在特征学习引导的深度神经网络。一方面，当一个或多个模态缺失时，所提出的网络可以帮助分割脑肿瘤。另一方面，它可以检索缺失的模态以补偿不完整的数据。所提出的网络由三个关键组件组成。首先，提出一个多模态特征融合模块 (MFFM) 来有效地融合来自不同模态的互补信息，包括跨模态融合模块 (CMFM) 和多尺度融合模块 (MSFM)。其次，提出了一种基于空间一致性的潜在特征学习模块 (SC-LFLM)，以利用多模态潜在相关性并提取相关特征以有利于分割。第三，集成多任务学习 (MTL) 路径来监督分割并恢复缺失的模态。在 BraTS 2018 数据集上对所提出的方法进行了评估，与最先进的方法相比，当一个或多个模态缺失时，它可以实现更好的分割结果。此外，所提出的模块可以轻松适应其他多模态网络架构和研究领域。
血浆游离 DNA 中甲基组学和片段组学的多模态分析用于多癌症早期检测和定位
保留所有权利。未经许可不得重复使用。 （未经同行评审认证）是作者/资助者，他已授予 medRxiv 永久展示预印本的许可。
适用于啮齿动物、非人类灵长类动物和人类的多模态 MRI 数据的通用脑提取网络 (BEN)
摘要 准确提取磁共振成像 (MRI) 数据中的脑组织对于分析大脑结构和功能至关重要。虽然已经优化了几种常规工具来处理人脑数据，但目前还没有可推广的方法来提取啮齿动物、非人类灵长类动物和人类的多模态 MRI 数据的脑组织。因此，开发一种灵活且可推广的方法来提取跨物种的整个脑组织将使研究人员能够更有效地分析和比较实验结果。在这里，我们提出了一个领域自适应的半监督深度神经网络，称为脑提取网络 (BEN)，用于提取跨物种、MRI 模态和 MR 扫描仪的脑组织。我们已经在 18 个独立数据集上评估了 BEN，包括 783 个啮齿动物 MRI 扫描、246 个非人类灵长类动物 MRI 扫描和 4601 个人类 MRI 扫描，涵盖五个物种、四种模态和六种具有不同磁场强度的 MR 扫描仪。与传统工具箱相比，BEN 的优越性体现在其稳健性、准确性和通用性上。我们提出的方法不仅为跨物种提取脑组织提供了通用解决方案，而且显著提高了图谱配准的准确性，从而有利于下游处理任务。作为一种新型的全自动深度学习方法，BEN 被设计为一种开源软件，可在临床前和临床应用中实现跨物种神经影像数据的高通量处理。