XiaoMi-AI文件搜索系统
World File Search System多模式
多模式和多任务自动驾驶数据集
当前用于自动驾驶计算机视觉的深层神经网络（DNNS）通常在仅涉及单一类型的数据和urban场景的特定数据集上进行培训。因此，这些模型努力使新物体，噪音，夜间条件和各种情况，这对于安全至关重要的应用至关重要。尽管持续不断努力增强计算机视觉DNN的弹性，但进展一直缓慢，部分原因是缺乏具有多种模式的基准。我们介绍了一个名为Infraparis的新颖和多功能数据集，该数据集支持三种模式的多个任务：RGB，DEPTH和INDRARED。我们评估了各种最先进的基线技术，涵盖了语义分割，对象检测和深度估计的任务。更多可视化和
新的多模式AI工具支持生态应用
taxabind通过结合多种模型来执行物种分类来解决对生态问题的更强大和统一方法的需求（这是什么样的熊？），分配映射（在哪里？），以及与生态学有关的其他任务。该工具也可以用作与生态建模有关的大型研究的起点，科学家可能用来预测动植物种群的转变，气候变化的影响或人类活动对生态系统的影响。
猕猴中肺肉芽肿的多模式分析揭示了结核病控制的细胞相关性
Hannah P. Gideon, 1 , 2 , 23 Travis K. Hughes, 3 , 4 , 5 , 23 Constantine N. Tzouanas, 3 , 4 , 5 , 23 Marc H. Wadsworth II, 3 , 4 , 5 , 6 Ang Andy Tu, 7 Todd M. Gierahn, 7 Joshua M. Peters, 4 , 7 Forrest F. Hopkins, 4 , 8 Jun-Rong Wei, 4 , 8 Conner Kummerlowe, 9 Nicole L. Grant, 1 Kievershen Nargan, 10 Jia Yao Phuah, 1 H. Jacob Borish, 1 Pauline Maiello, 1 Alexander G. White, 1 Caylin G. Winchell, 1 , 2 , 11 Sarah K. Nyquist, 3 , 4 , 5 , 9 , 12 Sharie Keanne C. Ganchua, 1 Amy Myers, 1 Kush V. Patel, 1 Cassaundra L. Ameel, 1 Catherine T. Cochran, 1 Samira Ibrahim, 3 , 4 , 5 Jaime A. Tomko, 1 Lonnie James Frye, 1 Jacob M. Rosenberg, 4 , 8 , 13 Angela Shih, 13 Michael Chao, 4 , 8 Edwin Klein, 14 Charles A. Scanga, 1 , 2 Jose Ordovas-Montanes, 4 , 5 Bonnie伯格（Berger），约书亚·T·马蒂拉（Joshua T. Shalek 3，4，5，6，6，18，24，25， * 1微生物学和分子遗传学系，匹兹堡大学医学院，宾夕法尼亚州匹兹堡，宾夕法尼亚州匹兹堡研究中心，匹兹堡，宾夕法尼亚州匹兹堡大学，美国宾夕法尼亚州匹兹堡大学，美国3号宾夕法尼亚州匹兹堡大学3.哈佛大学，马萨诸塞州剑桥，美国5麻省理工学院和哈佛大学，马萨诸塞州剑桥市6美国6化学系，马萨诸塞州理工学院，马萨诸塞州剑桥市，美国7 7生物工程系），sfortune@hsph.harvard.edu（S.M.F.美国马萨诸塞州波士顿，马萨诸塞州波士顿公共卫生学院9计算与系统生物学计划，马萨诸塞州技术研究所，美国马萨诸塞州剑桥市，美国10号非洲卫生研究所，南非德班，南非，肺部，过敏和重症监护医学司，匹兹堡大学，匹兹堡大学，匹兹堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，美国12级计算机。美国马萨诸塞州剑桥市技术，13美国马萨诸塞州马萨诸塞州马萨诸塞州综合医院，美国马萨诸塞州波士顿，美国14号实验室动物研究部，匹兹堡大学，匹兹堡宾夕法尼亚州匹兹堡大学15美国匹兹堡，匹兹堡大学匹兹堡大学的传染病学系，美国15南非德班，纳塔尔17化学工程系，马萨诸塞州剑桥，马萨诸塞州剑桥市，美国马萨诸塞州剑桥研究所18宾夕法尼亚州剑桥市的马萨诸塞州综合癌症研究所，马萨诸塞州科技研究所19 of KwaZulu-Natal, Durban, South Africa 21 Department of Infection and Immunity, University College London, London, UK 22 Department of Microbiology and Physiological Systems, University of Massachusetts Medical School, Worcester, MA, USA 23 These authors contributed equally 24 These authors contributed equally 25 Lead contact *Correspondence: joanne@pitt.edu (J.L.F.），shalek@mit.edu（A.K.S。）https://doi.org/10.1016/j.immuni.2022.04.004
使用大脑MRI和临床数据的多模式方法
摘要 - 预测衰老个体临床下降的轨迹是一个紧迫的挑战，尤其是对于患有轻度认知障碍，阿尔茨海默氏病，帕金森氏病或血管性痴呆症患者而言。准确的预测可以指导治疗决策，确定风险因素并优化临床试验。在这项研究中，我们比较了在临床痴呆率评级量表“盒子总和”评分（SOBCDR）中，在2年间隔内进行了两种深度学习方法。这是痴呆症研究中的关键指标，评分范围从0（无损害）到18（严重损害）。为了预测下降，我们训练了一个混合卷积神经网络，该网络将3D T1加权的脑MRI扫描与表格临床和人口统计学特征（包括年龄，性别，体重指数（BMI）和基线SOBCDR）相结合。我们针对Autogluon进行了基准测试，Autogluon是一个自动化的多模式学习框架，选择了适当的神经网络体系结构。我们的结果证明了将图像和表格数据组合在临床应用预测建模中的重要性。深度学习算法可以融合基于图像的大脑特征和表格临床数据，并具有衰老和痴呆症的个性化预后。
深度学习和流量标志的多模式LLM ...
自动驾驶汽车（AVS）需要可靠的交通标志识别和健壮的车道检测功能，以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法，结合了先进的深度学习技术和多模式大型语言模型（MLLMS），以实现全面的道路。对于交通标志识别，我们系统地评估了Resnet-50，Yolov8和RT-Det，在Resnet-50中以99.8％的状态效果达到99.8％，Yolov8的精度为98.0％，尽管具有较高的计算机复杂性，但在RT-DECT上的精度达到了96.6％的精度。对于车道检测，我们提出了一种基于CNN的分割方法，通过多项式曲线拟合增强了，该方法在有利条件下肝脏高精度。更重要的是，我们引入了一个轻巧的，多模式的，基于LLM的框架，该框架直接进行了调整的指令，以调整您的小而多样化的数据集，从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型，复杂的交叉点和合并区域，可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源，但我们的多模式方法表明了高级推理能力，达到了53.87％的所有准确性（FRM），这一问题总体上是82.83％的总体确保（QNS），在清晰的条件下，泳道的检测准确性为99.6％，在夜间和93.0％的情况下为93.0％的雨水，以及8.0％的雨水，以及8.8的范围。道路退化（95.6％）。拟议的综合框架显着增强了AV感知的可观性，从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。
利用多模式数据和知识图
自然产品研究是一种多样化的主题，可产生和利用大量不同类型的数据。基因组，蛋白质组学，代谢组，光谱或（Bio）化学数据可能每个人都可以从不同的角度照亮相同的生化实体，并有能力相互告知。例如，基因组学可以揭示生物体中天然产物产生的遗传基础，而代谢组学可以揭示产生的代谢产物。光谱数据可以提供对这些分子结构特征的见解，并且生化数据可以阐明所涉及的酶促途径。这些综合观点可以对自然产品结构和功能进行更全面的理解。但是，可以表征自然产品科学数据格局
多模式扩散模型，具有双跨性的多摩学数据生成和翻译
。cc-by-nc-nd 4.0国际许可证（未获得同行评审证书）获得的是作者/资助者，他已授予Biorxiv授予Biorxiv的许可，以永久显示预印本。这是该版本的版权所有，该版本于2025年3月2日发布。 https://doi.org/10.1101/2025.02.27.640020 doi：Biorxiv Preprint
一种非接触式多模式感应方法，用于建筑物解构中的物质评估和恢复
摘要：随着物质稀缺和环境问题的增长，重复使用和减少废物的关注是根据它们减少碳排放和促进零净建筑物的潜力而引起的。这项研究开发了一种创新的方法，该方法将多模式传感技术与机器学习结合在一起，以实现对现场建筑材料的无接触式评估，以重新使用潜力。通过整合热成像，红色，绿色和蓝色（RGB）相机以及深度传感器，系统可以分析材料条件并揭示现有建筑物内的隐藏几何形状。这种方法通过分析现有材料（包括其成分，历史和组件）来增强材料的理解。一项关于干墙解构的案例研究表明，这些技术可以有效地指导解构过程，并有可能大大降低材料成本和碳排放。这些发现突出了可行的场景，用于干墙再利用，并通过自动反馈和可视化切割线和紧固件位置来提高现有解构技术的见解。本研究表明，非接触式评估和自动解构方法在技术上是可行的，经济上有利的，并且在环境上是有益的。作为朝着查看和对现有建筑材料进行分类的新方法迈出的第一步，本研究为未来的研究奠定了基础，促进了可持续的建筑实践，以优化材料再利用并减少负面的环境影响。
对声音，图像和文本中识别多模式情绪方法的审查
收到：2023年9月18日；接受：2023年12月25日摘要通过听觉，视觉和文本提示识别多方面情绪的研究是一个快速发展的跨学科领域，涵盖了心理学，计算机科学和人工智能领域。本文研究了用于隔离和识别这些模式中复杂情绪状态的方法的范围，目的是描述进步并确定未来研究的领域。在声音领域中，我们探索了信号处理和机器学习技术的进展，从而有助于从人声弯曲和音乐安排中提取细微的情感指标。视觉情绪识别是通过面部识别算法，肢体语言分析以及上下文环境信息整合的有效性来评估的。使用自然语言处理技术检查基于文本的情感识别，以感知书面语言的情感和情感内涵。此外，本文考虑了这些不同情绪数据来源的融合，考虑了构建能够解释多模式输入的连贯模型时所面临的挑战。我们的方法涵盖了最近研究的荟萃分析，评估了各种方法的有效性和精度，并确定了常见的指标进行评估。结果表明，偏爱深度学习和混合模型，以利用多种分析技术的优势来提高识别率。然而，诸如情感的主观性质，表达中的文化差异以及广泛的注释数据集的必要性持续存在的挑战，这是重大障碍。总而言之，这篇综述倡导了更多细微的数据集，增强的跨学科合作以及一个道德框架来管理情绪识别技术的实施。这些技术的潜在应用是广泛的，从医疗保健到娱乐，并且需要一致的努力来完善和道德将情感识别纳入我们的数字互动中。关键字：多模式情绪，融合，机器学习，深度学习，回归，CNN，RNN。