XiaoMi-AI文件搜索系统
World File Search Systemmodal
U-Limb：关于健康和中风后手臂运动控制的多模式、多中心数据库
1 “Enrico Piaggio”研究中心和 Dipartimento di Ingegneria dell'Informazione，比萨拉戈大学 Lucio Lazzarino 1, 56122 比萨，意大利； 2 用于人类合作与康复的软机器人，Fondazione Istituto Italiano di Tecnologia，Via Morego 30, 16163 Genova，意大利； 3 RSI - 慕尼黑工业大学 (TUM) 慕尼黑机器人与机器智能学院机器人与系统智能主席，Heßstr。 134, 80797 慕尼黑, 德国; 4 MoMiLab 研究中心，IMT 卢卡高级研究学院，Piazza S. Francesco 19, 55100 Lucca, Italy； 5 苏黎世大学神经病学系血管神经病学和神经康复科，Frauenklinikstrasse 26, 8006 苏黎世，瑞士；6 汉诺威医学院矫形外科系生物力学和生物材料实验室 (LBB)，L384, 30625 汉诺威，德国；7 苏黎世健康科学与技术系机器人与智能系统研究所康复工程实验室，CLA H 1.1 Tannenstrasse 3, 8092 苏黎世，瑞士
利用非脑和多模态脑成像数据预测健康和病理衰老过程中未来的认知能力下降
a 瑞士苏黎世大学心理学系可塑性研究方法 b 瑞士苏黎世大学和苏黎世联邦理工学院苏黎世神经科学中心 (ZNZ) c 瑞士苏黎世大学大学研究优先计划“健康老龄化动力学” d 法国帕莱索巴黎萨克雷大学、Inria、CEA e 德国莱比锡马克斯普朗克人类认知和脑科学研究所神经病学系 f 加拿大魁北克省蒙特利尔蒙特利尔大学老年医学研究所功能神经影像科 g 美国德克萨斯州奥斯汀德克萨斯大学戴尔医学院计算神经影像实验室 h 美国密歇根州底特律韦恩州立大学老年学研究所和心理学系 i 加拿大蒙特利尔康考迪亚大学心理学系 j 大脑与运动研究所认知神经解剖学实验室épinière，法国巴黎 k 德克萨斯大学心理学系，美国德克萨斯州奥斯汀
多模态人工智能中的偏见：公平自动招聘的试验台
决策算法在社会中的存在感如今正在迅速增加，同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上，许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体（例如，某些用于人员识别的生物特征识别系统）。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响，我们提出了一个虚构的自动招聘测试平台：FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能（AI）从非结构化数据中提取敏感信息并以不良（不公平）的方式将其与数据偏见结合起来的能力。最后，我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法（SensitiveNets）来实验歧视感知学习，以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具，特别是更公平的自动招聘系统。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
用于医学图像超分辨率的多模态多头卷积注意
超分辨率医学图像可帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描 (CT) 或磁共振成像 (MRI) 技术在一次检查期间会捕获多个扫描 (模式)，这些扫描 (模式) 可以联合使用 (以多模态方式) 来进一步提高超分辨率结果的质量。为此，我们提出了一种新颖的多模态多头卷积注意模块来超分辨率 CT 和 MRI 扫描。我们的注意模块使用卷积运算对多个连接的输入张量执行联合空间通道注意，其中核 (感受野) 大小控制空间注意的减少率，卷积滤波器的数量控制通道注意的减少率。我们引入了多个注意头，每个头具有不同的感受野大小，对应于空间注意的特定减少率。我们将多模态多头卷积注意力 (MMHCA) 集成到两个深度神经架构中以实现超分辨率，并对三个数据集进行了实验。我们的实证结果表明，我们的注意力模块优于超分辨率中使用的最先进的注意力机制。此外，我们进行了一项消融研究，以评估注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。
新的多模式AI工具支持生态应用
taxabind通过结合多种模型来执行物种分类来解决对生态问题的更强大和统一方法的需求（这是什么样的熊？），分配映射（在哪里？），以及与生态学有关的其他任务。该工具也可以用作与生态建模有关的大型研究的起点，科学家可能用来预测动植物种群的转变，气候变化的影响或人类活动对生态系统的影响。
猕猴中肺肉芽肿的多模式分析揭示了结核病控制的细胞相关性
Hannah P. Gideon, 1 , 2 , 23 Travis K. Hughes, 3 , 4 , 5 , 23 Constantine N. Tzouanas, 3 , 4 , 5 , 23 Marc H. Wadsworth II, 3 , 4 , 5 , 6 Ang Andy Tu, 7 Todd M. Gierahn, 7 Joshua M. Peters, 4 , 7 Forrest F. Hopkins, 4 , 8 Jun-Rong Wei, 4 , 8 Conner Kummerlowe, 9 Nicole L. Grant, 1 Kievershen Nargan, 10 Jia Yao Phuah, 1 H. Jacob Borish, 1 Pauline Maiello, 1 Alexander G. White, 1 Caylin G. Winchell, 1 , 2 , 11 Sarah K. Nyquist, 3 , 4 , 5 , 9 , 12 Sharie Keanne C. Ganchua, 1 Amy Myers, 1 Kush V. Patel, 1 Cassaundra L. Ameel, 1 Catherine T. Cochran, 1 Samira Ibrahim, 3 , 4 , 5 Jaime A. Tomko, 1 Lonnie James Frye, 1 Jacob M. Rosenberg, 4 , 8 , 13 Angela Shih, 13 Michael Chao, 4 , 8 Edwin Klein, 14 Charles A. Scanga, 1 , 2 Jose Ordovas-Montanes, 4 , 5 Bonnie伯格（Berger），约书亚·T·马蒂拉（Joshua T. Shalek 3，4，5，6，6，18，24，25， * 1微生物学和分子遗传学系，匹兹堡大学医学院，宾夕法尼亚州匹兹堡，宾夕法尼亚州匹兹堡研究中心，匹兹堡，宾夕法尼亚州匹兹堡大学，美国宾夕法尼亚州匹兹堡大学，美国3号宾夕法尼亚州匹兹堡大学3.哈佛大学，马萨诸塞州剑桥，美国5麻省理工学院和哈佛大学，马萨诸塞州剑桥市6美国6化学系，马萨诸塞州理工学院，马萨诸塞州剑桥市，美国7 7生物工程系），sfortune@hsph.harvard.edu（S.M.F.美国马萨诸塞州波士顿，马萨诸塞州波士顿公共卫生学院9计算与系统生物学计划，马萨诸塞州技术研究所，美国马萨诸塞州剑桥市，美国10号非洲卫生研究所，南非德班，南非，肺部，过敏和重症监护医学司，匹兹堡大学，匹兹堡大学，匹兹堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，美国12级计算机。美国马萨诸塞州剑桥市技术，13美国马萨诸塞州马萨诸塞州马萨诸塞州综合医院，美国马萨诸塞州波士顿，美国14号实验室动物研究部，匹兹堡大学，匹兹堡宾夕法尼亚州匹兹堡大学15美国匹兹堡，匹兹堡大学匹兹堡大学的传染病学系，美国15南非德班，纳塔尔17化学工程系，马萨诸塞州剑桥，马萨诸塞州剑桥市，美国马萨诸塞州剑桥研究所18宾夕法尼亚州剑桥市的马萨诸塞州综合癌症研究所，马萨诸塞州科技研究所19 of KwaZulu-Natal, Durban, South Africa 21 Department of Infection and Immunity, University College London, London, UK 22 Department of Microbiology and Physiological Systems, University of Massachusetts Medical School, Worcester, MA, USA 23 These authors contributed equally 24 These authors contributed equally 25 Lead contact *Correspondence: joanne@pitt.edu (J.L.F.），shalek@mit.edu（A.K.S。）https://doi.org/10.1016/j.immuni.2022.04.004
使用大脑MRI和临床数据的多模式方法
摘要 - 预测衰老个体临床下降的轨迹是一个紧迫的挑战，尤其是对于患有轻度认知障碍，阿尔茨海默氏病，帕金森氏病或血管性痴呆症患者而言。准确的预测可以指导治疗决策，确定风险因素并优化临床试验。在这项研究中，我们比较了在临床痴呆率评级量表“盒子总和”评分（SOBCDR）中，在2年间隔内进行了两种深度学习方法。这是痴呆症研究中的关键指标，评分范围从0（无损害）到18（严重损害）。为了预测下降，我们训练了一个混合卷积神经网络，该网络将3D T1加权的脑MRI扫描与表格临床和人口统计学特征（包括年龄，性别，体重指数（BMI）和基线SOBCDR）相结合。我们针对Autogluon进行了基准测试，Autogluon是一个自动化的多模式学习框架，选择了适当的神经网络体系结构。我们的结果证明了将图像和表格数据组合在临床应用预测建模中的重要性。深度学习算法可以融合基于图像的大脑特征和表格临床数据，并具有衰老和痴呆症的个性化预后。
深度学习和流量标志的多模式LLM ...
自动驾驶汽车（AVS）需要可靠的交通标志识别和健壮的车道检测功能，以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法，结合了先进的深度学习技术和多模式大型语言模型（MLLMS），以实现全面的道路。对于交通标志识别，我们系统地评估了Resnet-50，Yolov8和RT-Det，在Resnet-50中以99.8％的状态效果达到99.8％，Yolov8的精度为98.0％，尽管具有较高的计算机复杂性，但在RT-DECT上的精度达到了96.6％的精度。对于车道检测，我们提出了一种基于CNN的分割方法，通过多项式曲线拟合增强了，该方法在有利条件下肝脏高精度。更重要的是，我们引入了一个轻巧的，多模式的，基于LLM的框架，该框架直接进行了调整的指令，以调整您的小而多样化的数据集，从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型，复杂的交叉点和合并区域，可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源，但我们的多模式方法表明了高级推理能力，达到了53.87％的所有准确性（FRM），这一问题总体上是82.83％的总体确保（QNS），在清晰的条件下，泳道的检测准确性为99.6％，在夜间和93.0％的情况下为93.0％的雨水，以及8.0％的雨水，以及8.8的范围。道路退化（95.6％）。拟议的综合框架显着增强了AV感知的可观性，从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。