XiaoMi-AI文件搜索系统
World File Search System多模
解码脑电图活动以实现多模态自然语言处理
直到最近，研究人员主要对阅读中的人类行为数据感兴趣，以了解人类认知。然而，这些人类语言处理信号也可以用于基于机器学习的自然语言处理任务。目前，将脑电图大脑活动用于此目的的研究还很大程度上尚未得到探索。在本文中，我们首次进行了大规模研究，系统地分析了脑电图大脑活动数据在改进自然语言处理任务方面的潜力，特别关注了信号的哪些特征最有益。我们提出了一种多模态机器学习架构，它可以从文本输入和脑电图特征中联合学习。我们发现将脑电图信号过滤到频带中比使用宽带信号更有益。此外，对于一系列词嵌入类型，脑电图数据可以改进二元和三元情绪分类，并且优于多个基线。对于关系检测等更复杂的任务，在我们的实验中，只有情境化的 BERT 嵌入优于基线，这提出了进一步研究的需要。最后，当训练数据有限时，EEG 数据显示出特别有前景。
新的多模式AI工具支持生态应用
taxabind通过结合多种模型来执行物种分类来解决对生态问题的更强大和统一方法的需求（这是什么样的熊？），分配映射（在哪里？），以及与生态学有关的其他任务。该工具也可以用作与生态建模有关的大型研究的起点，科学家可能用来预测动植物种群的转变，气候变化的影响或人类活动对生态系统的影响。
猕猴中肺肉芽肿的多模式分析揭示了结核病控制的细胞相关性
Hannah P. Gideon, 1 , 2 , 23 Travis K. Hughes, 3 , 4 , 5 , 23 Constantine N. Tzouanas, 3 , 4 , 5 , 23 Marc H. Wadsworth II, 3 , 4 , 5 , 6 Ang Andy Tu, 7 Todd M. Gierahn, 7 Joshua M. Peters, 4 , 7 Forrest F. Hopkins, 4 , 8 Jun-Rong Wei, 4 , 8 Conner Kummerlowe, 9 Nicole L. Grant, 1 Kievershen Nargan, 10 Jia Yao Phuah, 1 H. Jacob Borish, 1 Pauline Maiello, 1 Alexander G. White, 1 Caylin G. Winchell, 1 , 2 , 11 Sarah K. Nyquist, 3 , 4 , 5 , 9 , 12 Sharie Keanne C. Ganchua, 1 Amy Myers, 1 Kush V. Patel, 1 Cassaundra L. Ameel, 1 Catherine T. Cochran, 1 Samira Ibrahim, 3 , 4 , 5 Jaime A. Tomko, 1 Lonnie James Frye, 1 Jacob M. Rosenberg, 4 , 8 , 13 Angela Shih, 13 Michael Chao, 4 , 8 Edwin Klein, 14 Charles A. Scanga, 1 , 2 Jose Ordovas-Montanes, 4 , 5 Bonnie伯格（Berger），约书亚·T·马蒂拉（Joshua T. Shalek 3，4，5，6，6，18，24，25， * 1微生物学和分子遗传学系，匹兹堡大学医学院，宾夕法尼亚州匹兹堡，宾夕法尼亚州匹兹堡研究中心，匹兹堡，宾夕法尼亚州匹兹堡大学，美国宾夕法尼亚州匹兹堡大学，美国3号宾夕法尼亚州匹兹堡大学3.哈佛大学，马萨诸塞州剑桥，美国5麻省理工学院和哈佛大学，马萨诸塞州剑桥市6美国6化学系，马萨诸塞州理工学院，马萨诸塞州剑桥市，美国7 7生物工程系），sfortune@hsph.harvard.edu（S.M.F.美国马萨诸塞州波士顿，马萨诸塞州波士顿公共卫生学院9计算与系统生物学计划，马萨诸塞州技术研究所，美国马萨诸塞州剑桥市，美国10号非洲卫生研究所，南非德班，南非，肺部，过敏和重症监护医学司，匹兹堡大学，匹兹堡大学，匹兹堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，帕特斯堡，美国12级计算机。美国马萨诸塞州剑桥市技术，13美国马萨诸塞州马萨诸塞州马萨诸塞州综合医院，美国马萨诸塞州波士顿，美国14号实验室动物研究部，匹兹堡大学，匹兹堡宾夕法尼亚州匹兹堡大学15美国匹兹堡，匹兹堡大学匹兹堡大学的传染病学系，美国15南非德班，纳塔尔17化学工程系，马萨诸塞州剑桥，马萨诸塞州剑桥市，美国马萨诸塞州剑桥研究所18宾夕法尼亚州剑桥市的马萨诸塞州综合癌症研究所，马萨诸塞州科技研究所19 of KwaZulu-Natal, Durban, South Africa 21 Department of Infection and Immunity, University College London, London, UK 22 Department of Microbiology and Physiological Systems, University of Massachusetts Medical School, Worcester, MA, USA 23 These authors contributed equally 24 These authors contributed equally 25 Lead contact *Correspondence: joanne@pitt.edu (J.L.F.），shalek@mit.edu（A.K.S。）https://doi.org/10.1016/j.immuni.2022.04.004
使用大脑MRI和临床数据的多模式方法
摘要 - 预测衰老个体临床下降的轨迹是一个紧迫的挑战，尤其是对于患有轻度认知障碍，阿尔茨海默氏病，帕金森氏病或血管性痴呆症患者而言。准确的预测可以指导治疗决策，确定风险因素并优化临床试验。在这项研究中，我们比较了在临床痴呆率评级量表“盒子总和”评分（SOBCDR）中，在2年间隔内进行了两种深度学习方法。这是痴呆症研究中的关键指标，评分范围从0（无损害）到18（严重损害）。为了预测下降，我们训练了一个混合卷积神经网络，该网络将3D T1加权的脑MRI扫描与表格临床和人口统计学特征（包括年龄，性别，体重指数（BMI）和基线SOBCDR）相结合。我们针对Autogluon进行了基准测试，Autogluon是一个自动化的多模式学习框架，选择了适当的神经网络体系结构。我们的结果证明了将图像和表格数据组合在临床应用预测建模中的重要性。深度学习算法可以融合基于图像的大脑特征和表格临床数据，并具有衰老和痴呆症的个性化预后。
深度学习和流量标志的多模式LLM ...
自动驾驶汽车（AVS）需要可靠的交通标志识别和健壮的车道检测功能，以确保在复杂和动态的环境中实现安全的导航。本文介绍了一种综合方法，结合了先进的深度学习技术和多模式大型语言模型（MLLMS），以实现全面的道路。对于交通标志识别，我们系统地评估了Resnet-50，Yolov8和RT-Det，在Resnet-50中以99.8％的状态效果达到99.8％，Yolov8的精度为98.0％，尽管具有较高的计算机复杂性，但在RT-DECT上的精度达到了96.6％的精度。对于车道检测，我们提出了一种基于CNN的分割方法，通过多项式曲线拟合增强了，该方法在有利条件下肝脏高精度。更重要的是，我们引入了一个轻巧的，多模式的，基于LLM的框架，该框架直接进行了调整的指令，以调整您的小而多样化的数据集，从而消除了对Intial预处理的需求。该框架有效地处理了各种车道类型，复杂的交叉点和合并区域，可以通过不利条件下的推理来提高车道检测可靠性。尽管有限制可用的培训资源，但我们的多模式方法表明了高级推理能力，达到了53.87％的所有准确性（FRM），这一问题总体上是82.83％的总体确保（QNS），在清晰的条件下，泳道的检测准确性为99.6％，在夜间和93.0％的情况下为93.0％的雨水，以及8.0％的雨水，以及8.8的范围。道路退化（95.6％）。拟议的综合框架显着增强了AV感知的可观性，从而极大地促进了在各种和充满挑战的道路方案中更安全的自主驾驶。
利用多模式数据和知识图
自然产品研究是一种多样化的主题，可产生和利用大量不同类型的数据。基因组，蛋白质组学，代谢组，光谱或（Bio）化学数据可能每个人都可以从不同的角度照亮相同的生化实体，并有能力相互告知。例如，基因组学可以揭示生物体中天然产物产生的遗传基础，而代谢组学可以揭示产生的代谢产物。光谱数据可以提供对这些分子结构特征的见解，并且生化数据可以阐明所涉及的酶促途径。这些综合观点可以对自然产品结构和功能进行更全面的理解。但是，可以表征自然产品科学数据格局
多模捕获的干涉仪与非互操作玻色...
我们在实验上证明了一个多模干涉仪，其中包含一个被困在谐波电势中的39 K原子的玻色子凝结物，在该原子间相互作用中可以取消利用Feshbach的共振。kapitza-dirac从光学晶格中的衍射将BEC一致地分配在多个动量成分中，同样间隔，形成了不同的干涉路径，而轨迹被捕获的har-nonig势封闭。我们研究了两种不同的干涉方案，其中重组脉冲是在确定电位的全部或一半振荡后应用的。我们发现，干涉仪输出处动量成分的相对幅度通过诱导的谐波电位相对于光学晶格的诱导位移对外力敏感。我们展示了如何校准干涉仪，充分表征其输出并讨论透视改进。
多模式扩散模型，具有双跨性的多摩学数据生成和翻译
。cc-by-nc-nd 4.0国际许可证（未获得同行评审证书）获得的是作者/资助者，他已授予Biorxiv授予Biorxiv的许可，以永久显示预印本。这是该版本的版权所有，该版本于2025年3月2日发布。 https://doi.org/10.1101/2025.02.27.640020 doi：Biorxiv Preprint
一种非接触式多模式感应方法，用于建筑物解构中的物质评估和恢复
摘要：随着物质稀缺和环境问题的增长，重复使用和减少废物的关注是根据它们减少碳排放和促进零净建筑物的潜力而引起的。这项研究开发了一种创新的方法，该方法将多模式传感技术与机器学习结合在一起，以实现对现场建筑材料的无接触式评估，以重新使用潜力。通过整合热成像，红色，绿色和蓝色（RGB）相机以及深度传感器，系统可以分析材料条件并揭示现有建筑物内的隐藏几何形状。这种方法通过分析现有材料（包括其成分，历史和组件）来增强材料的理解。一项关于干墙解构的案例研究表明，这些技术可以有效地指导解构过程，并有可能大大降低材料成本和碳排放。这些发现突出了可行的场景，用于干墙再利用，并通过自动反馈和可视化切割线和紧固件位置来提高现有解构技术的见解。本研究表明，非接触式评估和自动解构方法在技术上是可行的，经济上有利的，并且在环境上是有益的。作为朝着查看和对现有建筑材料进行分类的新方法迈出的第一步，本研究为未来的研究奠定了基础，促进了可持续的建筑实践，以优化材料再利用并减少负面的环境影响。