XiaoMi-AI文件搜索系统
World File Search System多模
利用非脑和多模态脑成像数据预测健康和病理衰老过程中未来的认知能力下降
a 瑞士苏黎世大学心理学系可塑性研究方法 b 瑞士苏黎世大学和苏黎世联邦理工学院苏黎世神经科学中心 (ZNZ) c 瑞士苏黎世大学大学研究优先计划“健康老龄化动力学” d 法国帕莱索巴黎萨克雷大学、Inria、CEA e 德国莱比锡马克斯普朗克人类认知和脑科学研究所神经病学系 f 加拿大魁北克省蒙特利尔蒙特利尔大学老年医学研究所功能神经影像科 g 美国德克萨斯州奥斯汀德克萨斯大学戴尔医学院计算神经影像实验室 h 美国密歇根州底特律韦恩州立大学老年学研究所和心理学系 i 加拿大蒙特利尔康考迪亚大学心理学系 j 大脑与运动研究所认知神经解剖学实验室épinière，法国巴黎 k 德克萨斯大学心理学系，美国德克萨斯州奥斯汀
多模式推理的问题意识视力变压器
视觉语言（VL）模型已获得了显着的重点，从而在多模式推理方面取得了显着进步。这些体系结构通常包括视觉编码器，大型语言模型（LLM）和一个将视觉特征与LLM的代表空间保持一致的投影模块。尽管他们成功了，但仍然存在一个关键的限制：愿景编码过程仍然与用户查询相关，通常是以与图像相关的问题的形式。因此，所得的视觉特征可能无法最佳地调整图像的特定元素。为了解决这个问题，我们介绍了QA-Vit，这是一种问题的多模式原因，这是一种问题，将问题意识直接嵌入到视觉编码器中。此集成导致动态视觉特征，重点是提出问题的相关图像方面。QA-VIT是模型 - 静态的，并且可以有效地将其置于任何VL体系结构中。广泛的经验证明了将我们的方法应用于各种多模式体系结构的有效性，从而导致跨不同任务的一致改进，并展示了其以增强视觉和场景文本理解的能力。
用于医学图像超分辨率的多模态多头卷积注意
超分辨率医学图像可帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描 (CT) 或磁共振成像 (MRI) 技术在一次检查期间会捕获多个扫描 (模式)，这些扫描 (模式) 可以联合使用 (以多模态方式) 来进一步提高超分辨率结果的质量。为此，我们提出了一种新颖的多模态多头卷积注意模块来超分辨率 CT 和 MRI 扫描。我们的注意模块使用卷积运算对多个连接的输入张量执行联合空间通道注意，其中核 (感受野) 大小控制空间注意的减少率，卷积滤波器的数量控制通道注意的减少率。我们引入了多个注意头，每个头具有不同的感受野大小，对应于空间注意的特定减少率。我们将多模态多头卷积注意力 (MMHCA) 集成到两个深度神经架构中以实现超分辨率，并对三个数据集进行了实验。我们的实证结果表明，我们的注意力模块优于超分辨率中使用的最先进的注意力机制。此外，我们进行了一项消融研究，以评估注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。
多模态磁共振在缺血性脑卒中评估中的运用进展
[1] Murray CJL, Aravkin AY, Zheng P, et al.Global burden of 87 risk factors in 204 countries and territories, 1990 – 2019: a systematic analysis for the Global Burden of Disease Study 2019[J].Lancet, 2020, 396 (10258): 1223-1249.[2] 王增武 , 马志毅 , 薛素芳 , 等 .基层冠心病与缺血性脑卒中共患管理 专家共识 2022[J].中国心血管病研究 , 2022, 20(9): 772-793.[3] 王拥军 , 李子孝 , 谷鸿秋 , 等 .中国卒中报告 2020 （中文版） (1)[J].中 国卒中杂志 , 2022, 17(5): 433-447.[4] Langhorne P, Bernhardt J, Kwakkel G. Stroke rehabilitation[J].Lancet, 2011, 377(9778): 1693-1702.[5] Xing Y, Bai Y.A Review of Exercise-Induced Neuroplasticity in Ischemic Stroke: Pathology and Mechanisms[J].Mol Neurobiol, 2020, 57 (10): 4218-4231.[6] Guggisberg AG, Koch PJ, Hummel FC, et al.Brain networks and their relevance for stroke rehabilitation[J].Clin Neurophysiol, 2019, 130(7): 1098-1124.[7] Lutsep HL, Albers GW, Decrespigny A, et al.Clinical utility of diffusion-weighted magnetic resonance imaging in the assessment of ischemic stroke[J].Ann Neurol, 1997, 41(5): 574-580.[8] 于帆 , Arman Sha, 张苗 , 等 .人工智能在急性缺血性脑卒中影像的研 究进展 [J].中华老年心脑血管病杂志 , 2023, 25(3): 334-336.[9] 李华 , 郭春锋 , 高连荣 .FLAIR 及 DWI 序列在诊断脑血管周围间隙 中的价值 [J].医学影像学杂志 , 2015, 25(8): 1341-1343.[10] Scheldeman L, Wouters A, Dupont P, et al.Stroke, 2022, 53(5): 1665-1673.[11] Thomalla G, Simonsen CZ, Boutitie F, et al.MRI-Guided Thrombolysis for Stroke with Unknown Time of Onset[J].[15] 蔡建新 , 彭如臣 .扩散加权成像和流体且反转的恢复定量定量，以预测不明发作的缺血性中风中的易流性恢复不匹配的恢复不匹配状态[J]。《新英格兰医学杂志》，2018，379（7）：611-622。[12] Legrand L，Turc G，Edilali M等。根据Flair血管高压不匹配而受益于血栓切除术后血运重建[J]。Eur Radiol，2019，29（10）：5567-5576。[13] Xie Y，Oppenheim C，Guillemin F等。预处理病变量会影响临床结果和血栓切除术的功效[J]。Ann Neurol，2018，83（1）：178-185。 [14] Raoult H，Lassalle MV，Parat B等。 基于DWI的算法可预测急性中风血栓切除术治疗的患者的残疾[J]。 Am J Neuroradiol，2020，41（2）：274-279。 弥散张量磁共振成像方法概述[J]。 医学影像学杂，2007，17（10）：1119-1122。 [16] Qiu A，Mori S，Miller MI。 扩散张量成像，用于理解早期生命中大脑发育[J]。 Ann Rev Psychol，2015，66：853-876。 [17] Corroenne R，Arthuis C，Kasprian G等。 胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。 超声产科妇科，2022，60（4）：470-476。 [18] Andica C，Kamagata K，Hatano T等。 源自扩散成像的退化性脑疾病的生物标志物[J]。 J Magn Reson Imaging，2020，52（6）：1620-1636。 [19] Groisser BN，哥伦WA，Singhal AB等。 NeuroRehabil神经修复，2014，28（8）：751-760。Ann Neurol，2018，83（1）：178-185。[14] Raoult H，Lassalle MV，Parat B等。基于DWI的算法可预测急性中风血栓切除术治疗的患者的残疾[J]。Am J Neuroradiol，2020，41（2）：274-279。弥散张量磁共振成像方法概述[J]。医学影像学杂，2007，17（10）：1119-1122。[16] Qiu A，Mori S，Miller MI。扩散张量成像，用于理解早期生命中大脑发育[J]。Ann Rev Psychol，2015，66：853-876。 [17] Corroenne R，Arthuis C，Kasprian G等。 胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。 超声产科妇科，2022，60（4）：470-476。 [18] Andica C，Kamagata K，Hatano T等。 源自扩散成像的退化性脑疾病的生物标志物[J]。 J Magn Reson Imaging，2020，52（6）：1620-1636。 [19] Groisser BN，哥伦WA，Singhal AB等。 NeuroRehabil神经修复，2014，28（8）：751-760。Ann Rev Psychol，2015，66：853-876。[17] Corroenne R，Arthuis C，Kasprian G等。胎儿大脑的扩散张量成像：有前途技术的原理，潜力和局限性[J]。超声产科妇科，2022，60（4）：470-476。[18] Andica C，Kamagata K，Hatano T等。源自扩散成像的退化性脑疾病的生物标志物[J]。J Magn Reson Imaging，2020，52（6）：1620-1636。[19] Groisser BN，哥伦WA，Singhal AB等。NeuroRehabil神经修复，2014，28（8）：751-760。皮质脊髓扩散异常[J]。[20] Kumar P，Kathuria P，Nair P等。使用扩散张量成像的亚急性缺血性卒中后上肢运动恢复的预测：系统评价和荟萃分析[J]。J Stroke，2016，18（1）：50-59。[21] Soulard J，Huber C，Baillieul S等。运动道完整性预测步行恢复：亚急性中风中的扩散MRI研究[J]。神经病学，
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
C9orf72 ALS/FTD二肽重复蛋白水平通过抑制PKA或增强蛋白质降解的小分子降低对扩散：全面的多模式对象级图像编辑器
基于扩散的生成模型在合成和操纵图像具有巨大的图像方面表现出了令人鼓舞的结果，其中文本到图像模型及其后续作品在学术界和行业中都具有很大的影响。编辑真实图像时，用户通常希望对不同元素具有直观而精确的控制（即对象）组成图像，并不断地操纵它们。我们可以根据图像中的单个观察的控制级别对现有的图像编辑方法进行分类。一条工作涉及使用文本提示来操纵图像[2，15，24，27]。由于很难与文本同时描述多个对象的形状和外观，因此在对象级别上对细粒度控制的能力有限。同时，迅速的工程使操纵任务乏味且耗时。另一项工作线使用低级调理信号，例如Hu等人。[18]，Patashnik等。[34]，Zeng等。[58]，草图[50]，图像[5，47，54]编辑图像。但是，其中大多数作品要么属于迅速的工程陷阱，要么无法独立操纵多个对象。与以前的作品不同，我们的目标是独立控制组成图像的多个对象的正确条件，即对象级编辑。我们表明，我们可以在对象级编辑框架下制定各种图像编辑任务，从而实现全面的编辑功能。
HHMR：通过增强图扩散模型的多模式可控性
近年来见证了一代和重建范式深入融合的趋势。在本文中，我们扩展了可控制的生成模块的能力，以实现更全面的手网恢复任务：在单个框架中，手工网格的生成，内部网状，重建，重建和拟合，我们将其命名为H olistic H和MESH R Ecovery（HHMR）。我们的主要观察结果是，具有强大多模式可偿还性的单个生成模型可以实现不同类型的手网恢复任务，并且在这样的框架中，实现不同的任务只需要给出不同的信号作为条件。为了实现这一目标，我们提出了基于图形卷积和整体手工网状恢复的注意力卷积和注意力机制的多合一扩散框架。为了实现强大的控制能力，同时确保多模式控制信号的解耦，我们将不同的模态映射到共享特征空间并应用跨尺度随机
通过熵和引导多模式融合在不利天气条件下增强对象检测
摘要。通过互补感应方式整合各种表示形式对于自主驾驶中的强大场景解释至关重要。近年来，融合视觉和范围数据的深度学习体系结构具有先进的2D和3D对象检测。但是，这些方式在不利的天气或照明条件下通常会降解，从而导致性能下降。虽然已经开发了域适应性甲基元素来弥合源域和目标域之间的缝隙，但由于源和目标域之间的固有差异，它们通常会缺乏。此差异可以在数据的不同分布和不同特征空间的不同分布中表现出来。本文介绍了一个全面的域自适应对象检测框架。通过深度转移学习开发，该框架旨在从标记的透明天气数据中稳健地概括到无标记的不良天气条件，从而增强了基于深度学习的对象检测模型的性能。创新的斑块熵融合模块（PEFM）是我们方法的核心，该方法动态整合了sens-sor数据，强调关键信息并最大程度地减少了背景干扰。这进一步补充了一种新型的加权决策模块（WDM），该模块（WDM）根据其在特定环境条件下的功效来调整不同传感器的贡献，从而优化了检测准确性。此外，我们在转移学习过程中集成了域对齐损失，以确保有效的域适应性通过将特征图差异定于清晰和不利天气数据集之间的差异。我们评估了不同数据集的模型，包括Exdark（单峰），CityScapes（单峰）和密集（Mul-timodal），在我们评估的时间点，它在所有数据集中排在所有数据集中。
dmr：视觉增强学习中的框架和事件融合的分解多模式表示
我们使用两种互补视觉方式探索视觉增强学习（RL）：基于框架的RGB凸轮和基于事件的动态视觉传感器（DVS）。iSTING多模式视觉RL方法在有效提取与任务相关的信息时经常遇到挑战。为了解决这个问题，我们提出了用于视觉RL的分解多模式表示（DMR）框架。它将输入分为三个不同的组成部分：与任务相关的效果（共同功能），RGB特异性噪声和DVS特异性噪声。共同创作表示与RL任务相关的两种模式中的完整信息；这两个噪声组件都受到数据重构损失以避免信息泄漏的约束，与共同创作形成对比，以最大程度地差异。广泛的经验表明，通过明确分开不同信息的类型，我们的方法可实现与最先进的方法相比，实质性改善的政策绩效。
解码脑电图活动以实现多模态自然语言处理
直到最近，研究人员主要对阅读中的人类行为数据感兴趣，以了解人类认知。然而，这些人类语言处理信号也可以用于基于机器学习的自然语言处理任务。目前，将脑电图大脑活动用于此目的的研究还很大程度上尚未得到探索。在本文中，我们首次进行了大规模研究，系统地分析了脑电图大脑活动数据在改进自然语言处理任务方面的潜力，特别关注了信号的哪些特征最有益。我们提出了一种多模态机器学习架构，它可以从文本输入和脑电图特征中联合学习。我们发现将脑电图信号过滤到频带中比使用宽带信号更有益。此外，对于一系列词嵌入类型，脑电图数据可以改进二元和三元情绪分类，并且优于多个基线。对于关系检测等更复杂的任务，在我们的实验中，只有情境化的 BERT 嵌入优于基线，这提出了进一步研究的需要。最后，当训练数据有限时，EEG 数据显示出特别有前景。