XiaoMi-AI文件搜索系统
World File Search System模态
优化生理自适应 VR 系统的视觉复杂性：使用 EDA、ECG 和 EEG 特征评估多模态数据集
生理自适应虚拟现实系统根据用户的生理信号动态调整虚拟内容，以增强交互并实现特定目标。然而，由于不同用户的认知状态可能影响多变量生理模式，自适应系统需要进行多模态评估，以研究输入生理特征与目标状态之间的关系，从而实现高效的用户建模。在这里，我们研究了一个多模态数据集（EEG、ECG 和 EDA），同时与两个不同的自适应系统交互，根据 EDA 调整环境视觉复杂性。视觉复杂性的增加导致 alpha 功率和 alpha-theta 比率的增加，反映出精神疲劳和工作量增加。同时，EDA 表现出明显的动态变化，紧张和相位成分增加。整合多模态生理测量进行适应性评估，加深了我们对系统适应对用户生理影响的理解，使我们能够解释它并改进自适应系统设计和优化算法。
LimSim++：用于在自动驾驶中部署多模态LLM的闭环平台
摘要 — 多模态大型语言模型 ((M)LLM) 的出现为人工智能开辟了新途径，尤其在自动驾驶领域，它提供了增强的理解和推理能力。本文介绍了 LimSim++，它是 LimSim 的扩展版本，专为 (M)LLM 在自动驾驶中的应用而设计。考虑到现有仿真平台的局限性，LimSim++ 满足了对支持自动驾驶持续学习和提高泛化能力的长期闭环基础设施的需求。该平台提供长时间、多场景模拟，为 (M)LLM 驱动的车辆提供关键信息。用户可以参与即时工程、模型评估和框架增强，使 LimSim++ 成为一个多功能的研究和实践工具。本文还介绍了一个基线 (M)LLM 驱动的框架，该框架通过在不同场景中的定量实验进行了系统验证。LimSim++ 的开源资源位于：https://pjlab-adg.github.io/limsim-plus/ 。索引词——自动驾驶汽车、闭环仿真、大型语言模型、知识驱动代理
多模态 fMRI 研究中清醒和非快速眼动睡眠期间大脑和外周的心血管和血管运动脉动
。CC-BY-NC-ND 4.0 国际许可，根据 提供（未经同行评审认证）是作者/资助者，他已授予 bioRxiv 永久展示预印本的许可。它是此预印本的版权持有者此版本于 2024 年 4 月 2 日发布。；https://doi.org/10.1101/2024.04.02.587690 doi：bioRxiv 预印本
多模态共变大脑模式介导遗传和心理因素对疼痛敏感性个体差异的影响
摘要 个体对疼痛的敏感性存在很大差异，这要归功于大脑、基因和心理因素。然而，由于这些因素之间存在复杂的相互作用，因此缺乏一个整合这些因素的多维模型。为了解决这个问题，我们使用冷加压测试测量了疼痛敏感性（即疼痛阈值和疼痛耐受性），收集了磁共振成像 (MRI) 数据和遗传数据，并评估了心理因素（即疼痛灾难化、疼痛相关恐惧和疼痛相关焦虑），这些研究对象包括 450 名健康男女参与者（160 名男性，290 名女性）。使用多模态 MRI 融合方法，我们分别确定了与疼痛阈值和耐受性相关的 2 对共变结构和功能大脑模式。这些模式主要涉及与自我意识、感觉辨别、认知评价、动作准备和执行以及疼痛的情感方面相关的区域。值得注意的是，疼痛灾难化与疼痛耐受性呈负相关，并且这种关系仅由男性参与者的多模态共变大脑模式介导。此外，我们还发现了脂肪酸酰胺水解酶基因中的单核苷酸多态性 rs4141964 与疼痛阈值之间的关联，这种关联由所有参与者中发现的多模态共变大脑模式介导。总之，我们提出了一个整合大脑、基因和心理因素的模型，以阐明它们在塑造个体间疼痛敏感性差异方面的作用，强调了多模态共变大脑模式作为基因/心理因素与疼痛敏感性之间关联的重要生物介质的重要贡献。
重力与模态无关的效应在塑造3D空间的内部表示视觉和触觉对象感知的内部表示
对3D形状的视觉和触觉感知受到扭曲的困扰，这受到非视觉因素（例如重力前庭信号）的影响。重力是否直接作用于视觉或触觉系统，还是在较高的，与模态无关的信息处理水平上仍然未知。为了检验这些假设，我们通过要求男性和女性人类受试者在直立和仰卧姿势以及微重力中执行“平方”任务来检查视觉和触觉3D形状感知。受试者调整了3D对象的一个边缘，以匹配三个规范参考平面中每个对象的长度，我们记录了匹配误差以获得感知到的3D形状的表征。结果显示了视觉和触觉方式的相反的，以身体为中心的错误模式，其幅度是负相关的，表明它们以不同的，特定于模态的代表出现，尽管如此，这些代表还是在某种级别上链接的。的失重以相同的方式显着调节视觉和触觉感知扭曲，这表明重力的效果是常见的，与模态无关的起源。总体而言，我们的发现显示了形式特异性的视觉和触觉感知扭曲之间的联系，并在与模态无依赖性的内部表示上演示了与重力相关的信号的作用，以及用于解释传统感觉输入的人体内部3D空间。
梯度引导的模态脱钩 - ...
具有不完整输入数据（缺少模态）的多模式学习是实用且具有挑战性的。在这项工作中，我们对这一挑战进行了深入的分析，发现模式优势对模型训练具有显着的负面影响，从而极大地降低了缺失的模态性能。是由Grad-CAM激励的，我们引入了一种新颖的指标，梯度，以监测和减少在缺失情景中广泛存在的模态主导性。为了帮助该指标，我们提出了一种新颖的梯度引导的模态解耦（GMD）方法，以促进对主导方式的依赖性。特定的是，GMD从不同模态中删除了冲突的梯度成分，以实现这种去耦，从而显着提高了性能。此外，要弹性处理模态分配数据，我们设计了一个参数有效的动态共享（DS）框架，该框架可以根据是否可用，可以根据是否可用来求解网络参数。我们对三个流行的多模式基准进行了广泛的实验，包括Brats 2018用于医学分割，CMU-MOSI和CMU-MOSEI进行情感分析。结果表明，我们的方法可以显着胜过竞争对手，表明所提出的解决方案的有效性。我们的代码在此处发布：https：//github.com/haowang420/gradient-gendient-gudide-modality-decoupling。
CMDA：基于 LiDAR 的 3D 物体检测的跨模态和领域对抗自适应
最近基于激光雷达的 3D 物体检测 (3DOD) 方法显示出良好的效果，但它们通常不能很好地推广到源（或训练）数据分布之外的目标域。为了减少这种领域差距，从而使 3DOD 模型更具泛化能力，我们引入了一种新颖的无监督领域自适应 (UDA) 方法，称为 CMDA，它 (i) 利用来自图像模态（即相机图像）的视觉语义线索作为有效的语义桥梁，以缩小跨模态鸟瞰图 (BEV) 表示中的领域差距。此外，(ii) 我们还引入了一种基于自训练的学习策略，其中模型经过对抗性训练以生成领域不变特征，这会破坏对特征实例是来自源域还是看不见的目标域的区分。总的来说，我们的 CMDA 框架指导 3DOD 模型为新颖的数据分布生成高度信息丰富且领域自适应的特征。在我们对 nuScenes、Waymo 和 KITTI 等大规模基准进行的大量实验中，上述内容为 UDA 任务提供了显著的性能提升，实现了最先进的性能。
智能医疗的人工智能和多模态数据融合：主题建模和文献计量学
摘要 人工智能 (AI) 的进步推动了广泛的研究，旨在为智能医疗开发多种多模态数据分析方法。基于定量方法的该领域文献大规模分析很少。本研究对 2002 年至 2022 年的 683 篇文章进行了文献计量和主题建模检查，重点关注研究主题和趋势、期刊、国家/地区、机构、作者和科学合作。结果表明，首先，文章数量从 2002 年的 1 篇增加到 2022 年的 220 篇，其中大多数发表在将医疗保健和医学研究与信息技术和人工智能联系起来的跨学科期刊上。其次，研究文章数量的显着增加可以归因于非英语国家/地区学者的贡献不断增加，以及美国和印度作者的显著贡献。第三，研究人员对各种研究问题表现出浓厚的兴趣，尤其是用于脑肿瘤分析的跨模态磁共振成像 (MRI)、通过多维数据分析进行癌症预测以及医疗保健中的人工智能辅助诊断和个性化，每个主题的研究兴趣都在显著增加。目前，一种新兴趋势是将生成对抗网络和对比学习应用于多模态医学图像融合和合成，并以数据为中心利用功能性 MRI 和脑电图的组合时空分辨率。这项研究有助于增强研究人员和从业者对基于多模态数据分析的人工智能智能医疗的当前焦点和未来发展轨迹的理解。
基于图像和临床生物医学的多模态机器学习：调查与展望
摘要 机器学习 (ML) 在医学人工智能 (AI) 系统中的应用已从传统和统计方法转变为越来越多地使用深度学习模型。本综述介绍了多模态 ML 的当前发展情况，重点介绍了其对医学图像分析和临床决策支持系统的深远影响。本文强调了解决多模态表示、融合、翻译、对齐和共同学习方面的挑战和创新，探讨了多模态模型对临床预测的变革潜力。它还强调了对此类模型进行原则性评估和实际实施的必要性，并引起了人们对决策支持系统与医疗保健提供者和人员之间动态关系的关注。尽管取得了进展，但许多生物医学领域仍然存在数据偏见和“大数据”稀缺等挑战。最后，我们讨论了原则性创新和协作努力，以进一步实现将多模态 ML 模型无缝集成到生物医学实践中的使命。
Q＆A与心血管专家，Rina Ariga博士 多模态心血管成像的进步 妇女健康临床试验 专家见解：亚洲的肿瘤学临床发展... 文章：克服阿尔茨海默氏症的复杂性... -Medpace
我有资格获得伦敦帝国学院的区别，并接受了巴特伦敦轮换的心脏病学培训。在这里，我对遗传性心肌疾病感兴趣。我在牛津大学的DPHIL（博士学位）率先进行了扩散张量心脏MRI，这是第一种形象心脏肌肉混乱的技术，它是肥厚性心肌病（HCM）中心脏突然死亡的基础。我后来被任命为牛津大学NIHR临床学术培训途径，在那里我共同完成心脏病学培训并进行了博士后研究。除了研究国际HCMR注册表研究和一项制药HCM试验外，我还领导了临床心脏病学和计算机科学之间独特的界面研究。使用经过大规模ECG数据训练的卷积神经网络，我利用了对HCM表型的新见解。在临床上，我在心力衰竭，遗传性心脏病和成像方面进行了亚份化。作为顾问心脏病专家，我撰写了该国最早的心力衰竭患者途径之一，以支持快速同时开始四倍疗法。实施此操作使我对临床试验及其对