人们在灾难和紧急情况下越来越多地使用社交媒体 (SM) 平台(例如 Twitter 和 Facebook)发布情况更新,包括伤亡报告、基础设施损坏、紧急需求请求等。SM 上的信息有多种形式,例如文本消息、图像和视频。多项研究表明 SM 信息对于灾难响应和管理的实用性,这鼓励人道主义组织开始将 SM 数据源纳入其工作流程。但是,一些挑战阻碍了这些组织使用 SM 数据进行响应工作。这些挑战包括近实时信息处理、信息过载、信息提取、摘要以及文本和视觉内容的验证。我们重点介绍了 SM 多模态数据的各种应用和机会、最新进展、当前挑战以及危机信息学和其他相关研究领域的未来方向。
谣言传播者越来越多地利用多媒体内容来吸引新闻消费者的注意力和信任。虽然一组谣言检测模型已经利用了多模态数据,但它们很少考虑图像和文本之间的不一致关系。此外,它们也未能找到一种有效的方法来发现帖子内容和背景知识之间的不一致信息。出于谣言更有可能在语义上具有不一致信息的直觉,提出了一种新颖的知识引导的双重不一致性网络来检测带有多媒体内容的谣言。它可以在一个统一的框架中捕获跨模态级别和内容知识级别的不一致语义。在两个公共真实数据集上进行的大量实验表明,我们的提议可以超越最先进的基线。
人工智能 (AI) 技术在各种实际应用中用于增强人类绩效,这为应急管理带来了前所未有的机遇。然而,目前对计算机视觉和自然语言处理等 AI 技术的探索主要集中在应急响应上,对准备和缓解阶段的研究较少。应急服务的训练演习对于让响应者在现实世界中有效工作至关重要,为利用 AI 技术提供了场所。在本文中,我们展示了一种 AI 应用,以解决在实时增强此类训练演习中的教员或培训师绩效的挑战,明确目的是减少从大量多模态数据(包括视频记录和 IoT 传感器流)中提取相关知识时的认知负荷。我们介绍了一种用于多模态流分析的 AI 系统设计,以及在针对活跃暴力事件的区域训练演习中使用该系统的经验教训。
2.基于人工智能的临床决策支持工具 [这包括:最有效地将多模态数据集成到临床应用的连贯模型中的高级机器学习技术;确保人工智能/机器学习模型对临床和/或患者用户可解释、可说明和透明的方法;在精准医疗多模态算法中使用合成数据的风险和好处;在精准医疗算法开发过程中纳入用户输入的策略;偏见识别和缓解技术,以确保人工智能驱动的医疗保健工具遵守道德标准,同时为不同患者群体提供公平的护理;道德考虑,例如患者隐私和数据安全,以及确保患者隐私和数据安全的方法;在临床环境中部署精准医疗多模态算法的潜在监管障碍,以及解决这些障碍的策略]。
超扫描技术的应用揭示了音乐活动中多人互动的神经机制。然而,目前各种研究结果之间缺乏整合。本系统综述旨在通过分析 32 项研究,全面了解音乐活动中的社会动态和大脑同步。研究结果表明,大脑间同步 (IBS) 与各种音乐活动之间存在很强的相关性,主要涉及额叶、中央叶、顶叶和颞叶。超扫描的应用不仅推动了理论研究,而且在提高基于音乐的治疗和教育干预的有效性方面也具有实际意义。本综述还利用预测编码模型 (PCM) 为解释音乐活动中的神经同步提供了新的视角。为了解决当前研究的局限性,未来的研究可以整合多模态数据、采用新技术、使用非侵入性技术,并探索其他研究方向。
在用于金属增材制造的激光束直接能量沉积 (DED-LB/M) 领域,从监测数据和降阶模型实施部件鉴定策略目前还处于较低成熟度。在本文中,提出了一种方法和一套新颖的数据分析工具,旨在联合分析多模态数据:工艺参数、同轴热成像和通过计算机断层扫描获得的零件质量。为了演示所提出的方法,构建了一组具有不同工艺参数(功率、工艺速度)和路径规划策略的不锈钢试样。对数据集进行了探索性数据分析和特征工程:工艺指标、热和几何监测特征与空间分辨缺陷(主要是裂纹)以及从检查阶段获得的整体零件质量相关,为进一步实施现场工艺监控作为工艺优化和鉴定的可靠工具铺平了道路。
医疗保健领域的人工智能 (AI) 旨在学习个体内部和个体之间的大型多模态数据集中的模式。这些模式可以提高对当前临床状况的理解或预测未来的结果。AI 有可能通过支持诊断、治疗和临床决策来彻底改变老年心理健康护理和研究。然而,这种势头大部分是由数据和计算机科学家和工程师推动的,并且存在与临床实践中的实际问题脱节的风险。这种跨专业视角将临床科学家和数据科学的经验联系起来。我们对 AI 进行了简要概述,主要关注在老年心理健康研究和临床护理中使用基于 AI 的方法的可能应用和挑战。我们建议未来老年心理健康领域的 AI 应用考虑临床实践的务实考虑、数据和临床科学之间的方法差异,并解决道德、隐私和信任问题。
随着生物医学测试方法的快速发展和生物医学数据的爆炸性增长,多模式数据可以更好地满足疾病的精确诊断,例如医学图像和组织学信息可以更全面地反映人的状况。这为研究人员提供了一个难得的机会,可以对生物医学数据,深度采矿和数据融合以及医学研究发现进行多模式学习。在收到的文章中,Asim等。使用多模式学习来预测miRNA序列的关键miRNA,Yan等人。改善宿主病毒间相互作用的预测。这些文章在分子生物学研究中证明了多模式学习的广泛前景。同时,对医学图像的分析在临床应用中也起着重要作用。Refaee等。差异。Sato等。 使用多模式学习来提高评估质量,以预测质子治疗的剂量范围。 Jovel和Greiner讨论了机器学习方法在生物医学研究中的应用。 这些文章表明,多模式学习技术的发展在生物医学数据分析中可以很好地发挥作用。 所有这些文章都展示了人工智能技术的广泛前景,例如生物医学领域中的多模式学习,深度学习和机器学习。 通过对抗生成网络提高算法的鲁棒性对不同的成像设备。Sato等。使用多模式学习来提高评估质量,以预测质子治疗的剂量范围。Jovel和Greiner讨论了机器学习方法在生物医学研究中的应用。这些文章表明,多模式学习技术的发展在生物医学数据分析中可以很好地发挥作用。所有这些文章都展示了人工智能技术的广泛前景,例如生物医学领域中的多模式学习,深度学习和机器学习。通过对抗生成网络提高算法的鲁棒性对不同的成像设备。尽管多模式学习在生物医学数据上具有有希望的应用,但是在处理多模式医学数据集时,面临许多挑战,例如Park等人。如何探索不同模态数据的优势特征,不同数据之间的固有相关性,对某些单一模态数据的过度依赖性以及模型可解释性和鲁棒性的问题仍然需要广泛的研究人员涉及。总而言之,这些文章是对生物医学研究中人工智能(AI)快速增长的探索。这些研究利用多模式学习
基于多模态生理信号的情绪识别受到越来越多的关注,然而如何处理多模态生理信号的一致性和异质性,以及不同主体之间的个体差异,是跨主体情绪识别的两个重要挑战。本文提出了一种多级解缠结网络MDNet,用于基于多模态生理信号的跨主体情绪识别。具体而言,MDNet由模态级解缠结模块和主体级解缠结模块组成。模态级解缠结模块将多模态生理信号投影到模态不变子空间和模态特定子空间,捕获模态不变特征和模态特定特征。主体级解缠结模块从多模态数据中分离出不同主体间主体共享特征和主体私有特征,从而促进跨主体情绪识别。在两个多模态情感数据集上进行的实验表明,MDNet 优于其他最先进的基线。
COVID-19 疫情凸显了医疗体系中长期存在的不平等和裂痕。(Bambra 等人,2020 年)根据疫情带来的启示,未来的医疗保健必须更加公平、更加个性化、更具成本效益。与此同时,多个领域的技术飞速发展导致了大量数据的产生——从医学成像到测序和基因组学技术,再到电子健康记录 (EHR)。精准医疗的最终目标是利用这些大型数据集来改善医疗服务;然而,这需要开发用于解析大规模多模态数据的方法和工具。在这里,我们回顾了一些旨在满足这些需求的研究,并以 2022 年太平洋生物计算研讨会 (PSB) 上“精准医疗:使用人工智能改善诊断和医疗保健”会议中已接受的论文为例。这项研究的最新趋势表明,越来越多的工作利用人工智能 (AI) 分析复杂的医疗数据,例如解释医学影像或预测传染病,以及开发更复杂的工具来深入了解基因组学和多组学数据。