XiaoMi-AI文件搜索系统
World File Search System模态
多模态磁共振在缺血性脑卒中评估中的运用进展
[1] Murray CJL, Aravkin AY, Zheng P, et al.Global burden of 87 risk factors in 204 countries and territories, 1990 – 2019: a systematic analysis for the Global Burden of Disease Study 2019[J].Lancet, 2020, 396 (10258): 1223-1249.[2] 王增武 , 马志毅 , 薛素芳 , 等 .基层冠心病与缺血性脑卒中共患管理 专家共识 2022[J].中国心血管病研究 , 2022, 20(9): 772-793.[3] 王拥军 , 李子孝 , 谷鸿秋 , 等 .中国卒中报告 2020 （中文版） (1)[J].中 国卒中杂志 , 2022, 17(5): 433-447.[4] Langhorne P, Bernhardt J, Kwakkel G. Stroke rehabilitation[J].Lancet, 2011, 377(9778): 1693-1702.[5] Xing Y, Bai Y.A Review of Exercise-Induced Neuroplasticity in Ischemic Stroke: Pathology and Mechanisms[J].Mol Neurobiol, 2020, 57 (10): 4218-4231.[6] Guggisberg AG, Koch PJ, Hummel FC, et al.Brain networks and their relevance for stroke rehabilitation[J].Clin Neurophysiol, 2019, 130(7): 1098-1124.[7] Lutsep HL, Albers GW, Decrespigny A, et al.Clinical utility of diffusion-weighted magnetic resonance imaging in the assessment of ischemic stroke[J].Ann Neurol, 1997, 41(5): 574-580.[8] 于帆 , Arman Sha, 张苗 , 等 .人工智能在急性缺血性脑卒中影像的研 究进展 [J].中华老年心脑血管病杂志 , 2023, 25(3): 334-336.[9] 李华 , 郭春锋 , 高连荣 .FLAIR 及 DWI 序列在诊断脑血管周围间隙 中的价值 [J].医学影像学杂志 , 2015, 25(8): 1341-1343.[10] Scheldeman L, Wouters A, Dupont P, et al.Stroke, 2022, 53(5): 1665-1673.[11] Thomalla G, Simonsen CZ, Boutitie F, et al.MRI-Guided Thrombolysis for Stroke with Unknown Time of Onset[J].[15] 蔡建新 , 彭如臣 .扩散加权成像和流体且反转的恢复定量定量，以预测不明发作的缺血性中风中的易流性恢复不匹配的恢复不匹配状态[J]。《新英格兰医学杂志》，2018，379（7）：611-622。[12] Legrand L，Turc G，Edilali M等。根据Flair血管高压不匹配而受益于血栓切除术后血运重建[J]。Eur Radiol，2019，29（10）：5567-5576。[13] Xie Y，Oppenheim C，Guillemin F等。预处理病变量会影响临床结果和血栓切除术的功效[J]。Ann Neurol，2018，83（1）：178-185。 [14] Raoult H，Lassalle MV，Parat B等。 基于DWI的算法可预测急性中风血栓切除术治疗的患者的残疾[J]。 Am J Neuroradiol，2020，41（2）：274-279。 弥散张量磁共振成像方法概述[J]。 医学影像学杂，2007，17（10）：1119-1122。 [16] Qiu A，Mori S，Miller MI。 扩散张量成像，用于理解早期生命中大脑发育[J]。 Ann Rev Psychol，2015，66：853-876。 [17] Corroenne R，Arthuis C，Kasprian G等。 胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。 超声产科妇科，2022，60（4）：470-476。 [18] Andica C，Kamagata K，Hatano T等。 源自扩散成像的退化性脑疾病的生物标志物[J]。 J Magn Reson Imaging，2020，52（6）：1620-1636。 [19] Groisser BN，哥伦WA，Singhal AB等。 NeuroRehabil神经修复，2014，28（8）：751-760。Ann Neurol，2018，83（1）：178-185。[14] Raoult H，Lassalle MV，Parat B等。基于DWI的算法可预测急性中风血栓切除术治疗的患者的残疾[J]。Am J Neuroradiol，2020，41（2）：274-279。弥散张量磁共振成像方法概述[J]。医学影像学杂，2007，17（10）：1119-1122。[16] Qiu A，Mori S，Miller MI。扩散张量成像，用于理解早期生命中大脑发育[J]。Ann Rev Psychol，2015，66：853-876。 [17] Corroenne R，Arthuis C，Kasprian G等。 胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。 超声产科妇科，2022，60（4）：470-476。 [18] Andica C，Kamagata K，Hatano T等。 源自扩散成像的退化性脑疾病的生物标志物[J]。 J Magn Reson Imaging，2020，52（6）：1620-1636。 [19] Groisser BN，哥伦WA，Singhal AB等。 NeuroRehabil神经修复，2014，28（8）：751-760。Ann Rev Psychol，2015，66：853-876。[17] Corroenne R，Arthuis C，Kasprian G等。胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。超声产科妇科，2022，60（4）：470-476。[18] Andica C，Kamagata K，Hatano T等。源自扩散成像的退化性脑疾病的生物标志物[J]。J Magn Reson Imaging，2020，52（6）：1620-1636。[19] Groisser BN，哥伦WA，Singhal AB等。NeuroRehabil神经修复，2014，28（8）：751-760。皮质脊髓扩散异常[J]。[20] Kumar P，Kathuria P，Nair P等。使用扩散张量成像的亚急性缺血性卒中后上肢运动恢复的预测：系统评价和荟萃分析[J]。J Stroke，2016，18（1）：50-59。[21] Soulard J，Huber C，Baillieul S等。运动道完整性预测步行恢复：亚急性中风中的扩散MRI研究[J]。神经病学，
通过共享缺少模态的多模态学习...
缺失模态问题对于多模态模型来说至关重要，但并非易事。当前旨在处理多模态任务中缺失模态问题的方法要么仅在评估期间处理缺失模态，要么训练单独的模型来处理特定的缺失模态设置。此外，这些模型是为特定任务设计的，例如，分类模型不易适应分割任务，反之亦然。在本文中，我们提出了共享特定特征建模 (ShaSpec) 方法，该方法比解决上述问题的竞争方法简单得多，也更有效。ShaSpec 旨在通过学习共享和特定特征来更好地表示输入数据，从而在训练和评估期间利用所有可用的输入模态。这是通过一种依赖于基于分布对齐和域分类的辅助任务以及残差特征融合程序的策略实现的。此外，ShaSpec 的设计简单性使其易于适应多种任务，例如分类和分割。在医学图像分割和计算机视觉分类方面进行了实验，结果表明 ShaSpec 的表现远胜于竞争方法。例如，在 BraTS2018 上，ShaSpec 将增强肿瘤的 SOTA 提高了 3% 以上，将肿瘤核心的 SOTA 提高了 5%，将整个肿瘤的 SOTA 提高了 3%。1
用于多模态学习的多路多模态 Transformer
多模态学习研究的核心在于有效利用多模态之间的融合表示。然而，现有的双向跨模态单向注意力只能利用从一个源到一个目标模态的模态间相互作用。在模态数量有限且交互方向固定的情况下，这确实无法释放多模态融合的全部表达能力。在本文中，提出了多路多模态变换器（MMT），通过单个块而不是多个堆叠的跨模态块同时探索每个模态的多路多模态互相关。MMT 的核心思想是多路多模态注意力，其中利用多种模态来计算多路注意张量。这自然有利于我们开发全面的多对多多模态交互路径。具体而言，多路张量由多个相互连接的模态感知核心张量组成，这些核心张量由模态内交互组成。此外，张量收缩操作用于研究不同核心张量之间的模态间依赖关系。本质上，我们基于张量的多路结构允许将 MMT 轻松扩展到与任意数量的模态相关的情况。以 MMT 为基础，进一步建立分层网络，以递归方式将低级多路多模态交互传输到高级交互。实验表明，MMT 可以实现最先进或相当的性能。
多模态刺激的多模态大脑编码模型
图 3：整个大脑和语言（AG、PTL 和 IFG）、视觉（EVC、SV 和 MT）和听觉皮层（AC）的多个 ROI 中的多模态和个体模态特征的视频和音频模态的平均归一化大脑对齐。误差线表示参与者平均值的标准误差。∗ 表示多模态嵌入明显优于单模态视频模型（VM）的情况，即 p ≤ 0.05。∧ 表示多模态嵌入明显优于单模态语音模型（SM）的情况，即 p ≤ 0.05。3
多模态系统
自然，人类使用多种模式来传达信息。在人类大脑中，这些模式既按顺序处理，又并行处理，以进行交流，当人类与计算机交互时，这种情况会发生变化。使计算机能够以多模式处理输入是人机交互 (HCI) 的主要研究领域。技术的进步（强大的移动设备、先进的传感器、新的输出方式等）为研究人员设计允许多模式交互的系统开辟了新的途径。多模式输入取代传统的交互方式只是时间问题。本文介绍了多模式系统领域，解释了其简要历史，描述了多模式系统相对于单模式系统的优势，并讨论了各种模式。讨论了输入建模、融合和数据收集。最后，列出了多模式系统研究中的挑战。文献分析表明，与单模式系统相比，多模式界面系统提高了任务完成率并减少了错误。多模式交互的常用输入是语音和手势。对于多模态输入，研究人员更喜欢输入模态的后期整合，因为它可以轻松更新模态和相应的词汇。
通过缺失模态合成和模态级注意力融合进行多模态脑肿瘤分割
摘要 —多模态磁共振 (MR) 成像为诊断和分析脑胶质瘤提供了巨大潜力。在临床场景中，常见的 MR 序列（例如 T1、T2 和 FLAIR）可以在单次扫描过程中同时获得。然而，获取对比增强模态（例如 T1ce）需要额外的时间、成本和注射造影剂。因此，开发一种方法来合成不可用的模态具有临床意义，这些模态也可以用作下游任务（例如脑肿瘤分割）的额外输入以提高性能。在这项工作中，我们提出了一个端到端框架，称为模态级注意力融合网络 (MAF-Net)，其中我们创新地进行逐块对比学习以提取多模态潜在特征并动态分配注意力权重以融合不同的模态。通过在 BraTS2020 上进行大量实验，发现我们提出的 MAF-Net 具有优异的 T1ce 合成性能（SSIM 为 0.8879 和 PSNR 为 22.78）和准确的脑肿瘤分割（在分割肿瘤核心、增强肿瘤和整个肿瘤方面的平均 Dice 分数分别为 67.9%、41.8% 和 88.0%）。
多模态性建议
肥厚性心肌病 (HCM) 的定义是，在没有其他可能引起该病的心脏、全身、综合征或代谢疾病的情况下，左心室肥大。症状可能与一系列病理生理机制有关，包括左心室流出道阻塞（伴或不伴有严重二尖瓣反流）、舒张功能障碍（伴有保留性心力衰竭和射血分数降低的心力衰竭）、自主神经功能障碍、缺血和心律失常。正确理解和利用多模态成像对于准确诊断和长期护理 HCM 患者至关重要。静息和压力成像可提供全面和互补的信息，帮助阐明导致症状的机制，以便实施适当和及时的治疗策略。先进的成像可用于指导某些治疗方案，包括室间隔缩小治疗和二尖瓣修复。通过使用临床和影像参数，增强的心脏猝死风险分层算法有助于选择最有可能从植入式心脏复律除颤器中受益的 HCM 患者。（J Am Soc Echocardiogr 2022；35：533-69。）
多模态传感器融合与导航
1. 课程大纲信息 1.1. 课程名称 多模态传感器融合与导航 1.2. 大学 帕兹马尼彼得天主教大学 1.3. 学期 第一年第一学期 2. 课程详情 2.1. 课程性质 集合选修课 2.2. ECTS 学分分配 5 2.3. 教师数据 Horváth András 博士 3. 能力和学习成果 3.1. 课程目标 本课程的主要目标是概述多传感器数据融合和导航中使用的实时算法和架构。本课程的重点是多并行处理和目标跟踪。本课程介绍估计理论、静态、动态线性和非线性情况以及离散和连续系统的必要定义。揭示和解释了卡尔曼滤波器和自举滤波器等常用算法。此外，还介绍了这些算法在实际问题中的局限性和应用。本课程全面介绍了自适应算法解决方案自上而下和自下而上的系统级计算设计知识。研究现代多并行架构中数据流的拓扑和非拓扑分区。