XiaoMi-AI文件搜索系统
World File Search Systemmodal
零射击学习的多模式基准和改进的体系结构
在这项工作中，我们证明，由于现有评估协议和数据集中的不足，因此有必要重新审视并全面研究Mul-timodal零射击学习（MZSL）问题问题。具体来说，我们解决了MZSL方法面临的两个主要挑战。 （1）既定基线的情况通常是无与伦比的，而且有时甚至是有缺陷的，因为现有的评估数据集通常与培训数据集有一些重叠，因此违反了零照片范式； （2）大多数现有的方法都偏向可见的类，这在对可见和看不见的类别进行评估时会大大降低性能。为了应对这些挑战，我们首先引入了一个新的多模式数据集，用于零照片评估，称为MZSL-50，其中有4462个视频来自50个广泛多元化的类别，并且与培训数据没有重叠。此外，我们提出了一种新型的多模式零射击变压器（MZST）体系结构，该体系结构利用了吸引瓶颈进行多模式融合。我们的模型可以直接预测语义表示，并且在将偏见降低到可见的类别方面表现出色。我们进行了广泛的消融研究，并在三个基准数据集和我们的新型MZSL-50数据集上实现最先进的结果。具体来说，我们提高了传统的MZSL绩效2。1％，9。81％和8。 vgg-sound，UCF-101和ActivityNet的68％。 最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。 181％和8。vgg-sound，UCF-101和ActivityNet的68％。最后，我们希望引入MZSL-50数据集将促进对社区中多模式零射击的深入研究。1
多模态情绪识别研究：整合面部...
摘要 — 戏剧作品中的情感识别在基本的人机交互、情感计算和其他各种应用中起着关键作用。传统的单模态情感识别系统在捕捉人类情感的复杂性和细微差别方面往往面临挑战。为此，本研究调查了多种模态信息的整合，包括面部表情、语音和生理信号，以增强情感识别系统的稳健性和准确性。通过结合这些不同的信息来源，我们的目标是更全面地了解人类的情感，并提高情感识别模型的性能。该研究探索了各种方法，包括特征融合、注意力机制和跨模态迁移学习，以有效地结合和利用来自面部表情、语音和生理信号的信息。此外，我们解决了与领域适应和缺失数据处理相关的挑战，确保所提出的多模态方法在数据收集条件可能变化的现实场景中保持稳健。为了证实所提出方法的有效性，我们在为多模态情感识别精心制作的基准数据集上进行了实验。该数据集包括通过面部特征、录音和生理传感器捕捉到的各种情绪表达。评估指标经过精心选择，以评估模型在各种模式下捕捉人类情绪的复杂性和细化程度的能力。我们的研究通过深入了解面部表情、语音和生理信号之间的相互作用，加深了对多模态情绪识别的理解。所提出的框架不仅提高了情绪识别的准确性，而且还提供了对情绪状态的更全面理解，促进了人机交互和情感计算应用的进步。
了解COPD中的心肺风险和新治疗方式的机会
新兴科学正在促进对患有慢性阻塞性肺部疾病（COPD）患者心肺风险的更好理解，以及新方式和递送机制的潜在机会，以减少这些心肺事件 - COPD死亡率的主要驱动力。在这里，GP合作伙伴兼现场首席研究员Pete Wilson博士以及英国阿斯利康州Astrazeneca的医学事务呼吸系统负责人Yang Xu讨论了潜在的下波动创新的潜力，以解决心肺风险，以改善COPD患者的结果。
地理空间植被预测的多模式学习
精确的地理空间植被预测具有各个部门的潜力，包括农业，林业，植物援助和碳会计。为了利用卫星图像的广泛可用性来完成此任务，各种作品应用了深层神经网络，以预测具有逼真质量的多光谱图像。但是，尚未彻底探索植被动力学的重要领域。我们的研究介绍了Greenearthnet，这是第一个专门为高分辨率植被预测设计的数据集，以及ContextFormer，这是一种新颖的深度学习方法，可预测Sentinel 2卫星2卫星图像，并在整个Eu-Rope之间进行精细分辨率。我们的多模式变压器模型上下文形式通过视觉主链利用空间上下文，并以参数有效的方式预测局部上下文贴片上包含气象时间序列的时间动态。Greenearthnet数据集具有学习的云蒙版和适当的植被建模评估方案。它还与现有的卫星图像预测数据集SEARNET2021保持兼容性，从而实现了跨数据库模型比较。我们广泛的定性和定量分析表明，我们的方法的表现优于广泛的基线技术。这包括超越了SEARNET2021上的先前最先进的模型，以及时间序列预测和视频预测的改编模型。我们提供开源代码和预训练的权重，以根据https：// gith ub.com/vitusbenson/greenearthnet [10]重新产生我们的实验结果。据我们所知，这项工作为大陆规模植被建模的第一个模拟介绍了良好的分辨，能够在季节性周期以外捕获异常，从而为对气候变化和极端的响应铺平了预测植被健康和行为的道路。
通过共享缺少模态的多模态学习...
缺失模态问题对于多模态模型来说至关重要，但并非易事。当前旨在处理多模态任务中缺失模态问题的方法要么仅在评估期间处理缺失模态，要么训练单独的模型来处理特定的缺失模态设置。此外，这些模型是为特定任务设计的，例如，分类模型不易适应分割任务，反之亦然。在本文中，我们提出了共享特定特征建模 (ShaSpec) 方法，该方法比解决上述问题的竞争方法简单得多，也更有效。ShaSpec 旨在通过学习共享和特定特征来更好地表示输入数据，从而在训练和评估期间利用所有可用的输入模态。这是通过一种依赖于基于分布对齐和域分类的辅助任务以及残差特征融合程序的策略实现的。此外，ShaSpec 的设计简单性使其易于适应多种任务，例如分类和分割。在医学图像分割和计算机视觉分类方面进行了实验，结果表明 ShaSpec 的表现远胜于竞争方法。例如，在 BraTS2018 上，ShaSpec 将增强肿瘤的 SOTA 提高了 3% 以上，将肿瘤核心的 SOTA 提高了 5%，将整个肿瘤的 SOTA 提高了 3%。1
新的多模式AI工具支持生态应用
taxabind通过结合多种模型来执行物种分类来解决对生态问题的更强大和统一方法的需求（这是什么样的熊？），分配映射（在哪里？），以及与生态学有关的其他任务。该工具也可以用作与生态建模有关的大型研究的起点，科学家可能用来预测动植物种群的转变，气候变化的影响或人类活动对生态系统的影响。
猕猴中肺肉芽肿的多模式分析揭示了结核病控制的细胞相关性
Hannah P. Gideon, 1 , 2 , 23 Travis K. Hughes, 3 , 4 , 5 , 23 Constantine N. Tzouanas, 3 , 4 , 5 , 23 Marc H. Wadsworth II, 3 , 4 , 5 , 6 Ang Andy Tu, 7 Todd M. Gierahn, 7 Joshua M. Peters, 4 , 7 Forrest F. Hopkins, 4 , 8 Jun-Rong Wei, 4 , 8 Conner Kummerlowe, 9 Nicole L. Grant, 1 Kievershen Nargan, 10 Jia Yao Phuah, 1 H. Jacob Borish, 1 Pauline Maiello, 1 Alexander G. White, 1 Caylin G. Winchell, 1 , 2 , 11 Sarah K. Nyquist, 3 , 4 , 5 , 9 , 12 Sharie Keanne C. Ganchua, 1 Amy Myers, 1 Kush V. Patel, 1 Cassaundra L. Ameel, 1 Catherine T. Cochran, 1 Samira Ibrahim, 3 , 4 , 5 Jaime A. Tomko, 1 Lonnie James Frye, 1 Jacob M. Rosenberg, 4 , 8 , 13 Angela Shih, 13 Michael Chao, 4 , 8 Edwin Klein, 14 Charles A. Scanga, 1 , 2 Jose Ordovas-Montanes, 4 , 5 Bonnie伯格（Berger），约书亚·T·马蒂拉（Joshua T. Shalek 3，4，5，6，6，18，24，25， * 1微生物学和分子遗传学系，匹兹堡大学医学院，宾夕法尼亚州匹兹堡，宾夕法尼亚州匹兹堡研究中心，匹兹堡，宾夕法尼亚州匹兹堡大学，美国宾夕法尼亚州匹兹堡大学，美国3号宾夕法尼亚州匹兹堡大学3.哈佛大学，马萨诸塞州剑桥，美国5麻省理工学院和哈佛大学，马萨诸塞州剑桥市6美国6化学系，马萨诸塞州理工学院，马萨诸塞州剑桥市，美国7 7生物工程系），sfortune@hsph.harvard.edu（S.M.F.美国马萨诸塞州波士顿，马萨诸塞州波士顿公共卫生学院9计算与系统生物学计划，马萨诸塞州技术研究所，美国马萨诸塞州剑桥市，美国10号非洲卫生研究所，南非德班，南非，肺部，过敏和重症监护医学司，匹兹堡大学，匹兹堡大学，匹兹堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，美国12级计算机。美国马萨诸塞州剑桥市技术，13美国马萨诸塞州马萨诸塞州马萨诸塞州综合医院，美国马萨诸塞州波士顿，美国14号实验室动物研究部，匹兹堡大学，匹兹堡宾夕法尼亚州匹兹堡大学15美国匹兹堡，匹兹堡大学匹兹堡大学的传染病学系，美国15南非德班，纳塔尔17化学工程系，马萨诸塞州剑桥，马萨诸塞州剑桥市，美国马萨诸塞州剑桥研究所18宾夕法尼亚州剑桥市的马萨诸塞州综合癌症研究所，马萨诸塞州科技研究所19 of KwaZulu-Natal, Durban, South Africa 21 Department of Infection and Immunity, University College London, London, UK 22 Department of Microbiology and Physiological Systems, University of Massachusetts Medical School, Worcester, MA, USA 23 These authors contributed equally 24 These authors contributed equally 25 Lead contact *Correspondence: joanne@pitt.edu (J.L.F.），shalek@mit.edu（A.K.S。）https://doi.org/10.1016/j.immuni.2022.04.004
使用大脑MRI和临床数据的多模式方法
摘要 - 预测衰老个体临床下降的轨迹是一个紧迫的挑战，尤其是对于患有轻度认知障碍，阿尔茨海默氏病，帕金森氏病或血管性痴呆症患者而言。准确的预测可以指导治疗决策，确定风险因素并优化临床试验。在这项研究中，我们比较了在临床痴呆率评级量表“盒子总和”评分（SOBCDR）中，在2年间隔内进行了两种深度学习方法。这是痴呆症研究中的关键指标，评分范围从0（无损害）到18（严重损害）。为了预测下降，我们训练了一个混合卷积神经网络，该网络将3D T1加权的脑MRI扫描与表格临床和人口统计学特征（包括年龄，性别，体重指数（BMI）和基线SOBCDR）相结合。我们针对Autogluon进行了基准测试，Autogluon是一个自动化的多模式学习框架，选择了适当的神经网络体系结构。我们的结果证明了将图像和表格数据组合在临床应用预测建模中的重要性。深度学习算法可以融合基于图像的大脑特征和表格临床数据，并具有衰老和痴呆症的个性化预后。
深度学习和流量标志的多模式LLM ...
自动驾驶汽车（AVS）需要可靠的交通标志识别和健壮的车道检测功能，以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法，结合了先进的深度学习技术和多模式大型语言模型（MLLMS），以实现全面的道路。对于交通标志识别，我们系统地评估了Resnet-50，Yolov8和RT-Det，在Resnet-50中以99.8％的状态效果达到99.8％，Yolov8的精度为98.0％，尽管具有较高的计算机复杂性，但在RT-DECT上的精度达到了96.6％的精度。对于车道检测，我们提出了一种基于CNN的分割方法，通过多项式曲线拟合增强了，该方法在有利条件下肝脏高精度。更重要的是，我们引入了一个轻巧的，多模式的，基于LLM的框架，该框架直接进行了调整的指令，以调整您的小而多样化的数据集，从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型，复杂的交叉点和合并区域，可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源，但我们的多模式方法表明了高级推理能力，达到了53.87％的所有准确性（FRM），这一问题总体上是82.83％的总体确保（QNS），在清晰的条件下，泳道的检测准确性为99.6％，在夜间和93.0％的情况下为93.0％的雨水，以及8.0％的雨水，以及8.8的范围。道路退化（95.6％）。拟议的综合框架显着增强了AV感知的可观性，从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。