XiaoMi-AI文件搜索系统
World File Search System模态
三模态同时研究人类大脑功能的概念验证证据
图 1 多模态数据集成。首先，可以提取功能性磁共振成像 (fMRI)、事件相关光信号 (EROS) 和事件相关电位 (ERP) 的信号，并分别分析其与认知过程、行为或个体差异的关系（上图）。请注意 fMRI、EROS 和 ERP 信号在空间和时间尺度上的差异。为了便于显示，EROS 数据以 4 的重采样因子进行了下采样。其次，可以一起分析成对的脑成像模式，以识别脑信号之间的关联（中图），并可以检查与所关注活动相关的组合信息。第三，可以将所有三种脑成像模式集成在一起（下图），方法是链接来自集成模式对的突发信息，和/或通过联合分析所有三种模式的时空特征。fMRI (A)、ERP (C) 和数据集成 (AC、BC 和下图) 的插图包括 Moore 等人的改编。 （2019），经许可。为了在成像模式之间保持一致，此处以较低的阈值显示右半球的整合数据。值得注意的是，显示的右半球区域与 Moore 等人（2019）中确定的 fMRI – ERP 整合结果同源
用于可解释的多变量时间序列分类的多模态原型学习
多变量时间序列分类问题在生物学和金融等多个领域越来越普遍和复杂。虽然深度学习方法是解决这些问题的有效工具，但它们往往缺乏可解释性。在这项工作中，我们提出了一种用于多变量时间序列分类的新型模块化原型学习框架。在我们框架的第一阶段，编码器独立地从每个变量中提取特征。原型层在生成的特征空间中识别单变量原型。我们框架的下一阶段根据多变量时间序列样本点与这些单变量原型的相似性来表示它们。这会产生一种固有可解释的多变量模式表示，原型学习应用于提取代表性示例，即多变量原型。因此，我们的框架能够明确识别各个变量中的信息模式以及变量之间的关系。我们在具有嵌入模式的模拟数据集以及真实的人类活动识别问题上验证了我们的框架。我们的框架在这些任务上实现了与现有时间序列分类方法相当或更优异的分类性能。在模拟数据集上，我们发现我们的模型返回与嵌入模式一致的解释。此外，在活动识别数据集上学习到的解释与领域知识一致。
用于人类大脑 3D 组织学的多模态计算流程
本文根据 Creative Commons Attribution 4.0 International 许可证授权，允许以任何媒体或格式使用、共享、改编、分发和复制，只要您给予原作者和来源适当的信任，提供 Creative Commons 许可证的链接，并指明是否进行了更改。本文中的图像或其他第三方材料包含在文章的 Creative Commons 许可证中，除非在材料的致谢中另有说明。如果材料未包含在文章的 Creative Commons 许可证中，并且您的预期用途不被法定规定允许或超出允许用途，则您需要直接从版权所有者处获得许可。要查看此许可证的副本，请访问 http://creativecommons.org/licenses/by/4.0/。
混合模态专家的脑病变分割基础模型
摘要。脑病变分割在神经学研究和诊断中起着至关重要的作用。由于脑病变可能是由各种病理改变引起的，不同类型的脑病变往往在不同的成像模式下表现出不同的特征。由于这种复杂性，脑病变分割方法通常以特定任务的方式开发。针对特定的病变类型和成像方式开发特定的分割模型。然而，使用特定任务的模型需要预先确定病变类型和成像方式，这使得它们在现实世界场景中的部署变得复杂。在这项工作中，我们提出了一个通用的 3D 脑病变分割基础模型，它可以自动分割不同类型的脑病变，以适应各种成像方式的输入数据。我们制定了一个新颖的混合模态专家 (MoME) 框架，其中多个专家网络负责不同的成像方式。分层门控网络结合了专家预测并促进了专业知识协作。此外，我们在训练过程中引入了课程学习策略，以避免每个专家网络退化并保持其专业化。我们在九个脑损伤数据集上评估了所提出的方法，涵盖了五种成像方式和八种损伤类型。结果表明，我们的模型优于最先进的通用模型，并为未知数据集提供了有希望的泛化能力。
整合多模态计算机感知和神经技术的伦理考量
背景：基于人工智能 (AI) 的计算机感知技术（例如数字表型和情感计算）有望通过提供更客观的情绪状态和行为测量方法，实现精准治疗、诊断和症状监测，从而将临床方法转变为精神病学及其他领域的个性化护理。同时，它们通常在非临床环境中从患者那里收集数据的被动和连续性质引发了与隐私和自决相关的伦理问题。随着计算机感知、人工智能和神经技术的并行发展使人们对主观状态有了新的认识，人们对神经数据的整合如何加剧此类担忧知之甚少。在这里，我们介绍了一项由 NCATS 资助的多地点研究的结果，该研究涉及将计算机感知转化为临床护理的伦理考虑，并将其置于神经伦理学和神经权利文献中。
迈向多模态和用户友好型可解释人工智能的声音化
我们习惯于听取解释。例如，如果有人觉得你今天很伤心，他们可能会用“因为你太难过了”来回答你的“为什么？”。然而，今天的人工智能（AI）——如果有的话——主要是以视觉或文本的方式提供决策的解释。虽然这种方法适合通过视觉媒体进行交流，例如在研究论文或智能设备的屏幕中，但它们可能并不总是最好的解释方式；尤其是当最终用户不是专家时。特别是，当人工智能的任务是音频智能时，视觉解释似乎不如可听的、声音化的解释直观。声音化在处理非音频数据的系统中对可解释人工智能（XAI）也具有巨大潜力——例如，因为它不需要用户的视觉接触或主动注意。因此，人工智能决策的声音化解释面临着一项具有挑战性但极具前景和开创性的任务。这涉及结合创新的 XAI 算法，以便指向负责 AI 决策的学习数据，并包括数据分解以识别突出方面。它进一步旨在识别负责决策的预处理、特征表示和学习注意模式的组成部分。最后，它以模型级决策为目标，为决策链提供整体解释
用于实时位置相关缺陷的多模态传感器融合
实时缺陷检测对于激光定向能量沉积 (L-DED) 增材制造 (AM) 至关重要。传统的现场监测方法利用单个传感器（即声学、视觉或热传感器）来捕获复杂的过程动态行为，这不足以实现高精度和稳健性的缺陷检测。本文提出了一种新颖的多模态传感器融合方法，用于实时位置相关的机器人 L-DED 过程中的缺陷检测。多模态融合源包括捕捉激光-材料相互作用声音的麦克风传感器和捕捉同轴熔池图像的可见光谱 CCD 相机。提出了一种混合卷积神经网络 (CNN) 来融合声学和视觉数据。本研究的主要创新之处在于不再需要传统的手动特征提取程序，原始熔池图像和声学信号直接由混合 CNN 模型融合，该模型无需热传感模式即可实现最高的缺陷预测准确率 (98.5%)。此外，与以前基于区域的质量预测不同，所提出的混合 CNN 可以检测到缺陷发生的开始。缺陷预测结果与现场获取的机器人工具中心点 (TCP) 数据同步并注册，从而实现局部缺陷识别。所提出的多模态传感器融合方法为现场缺陷检测提供了一种可靠的解决方案。
基于深度学习的多模态肿瘤分割方法：叙述性综述
准确地描绘肿瘤形状，使得多模态成像在肿瘤分割任务中具有优势（2,3）。例如，在脑胶质瘤的分割中，四个 MRI 序列 T1、T2、T1ce 和液体衰减反转恢复 (FLAIR) 提供了关于脑内肿瘤形状和其他病变结构的互补信息（4,5）。同样，在头颈部肿瘤分割中，PET 和 CT 图像可以提供有关肿瘤位置和轮廓的附加信息（6）。手动肿瘤分割是计算机辅助诊断 (CAD) 系统中常用的技术，但由于医生经验的主观性，它具有局限性，可能导致偏差，并且耗时耗力（7）。因此，准确的自动分割至关重要。近年来，深度学习 (DL) 技术，例如卷积神经网络 (CNN)，已广泛应用于大脑 (8)、头颈部 (9) 和肺部 (10) 等各个身体部位的多模态肿瘤分割任务。这些技术的基本思想是从训练数据中学习肿瘤特征，自动分割未知数据中的肿瘤，从而降低人工分割成本，提高分割精度。基于多模态深度学习的肿瘤分割算法已成为一种流行趋势，并因实现肿瘤的精准分割而受到越来越多的关注。本研究对多模态肿瘤分割的深度学习算法进行了全面的概述，包括公开数据集、评估方法、分割网络、常用技术以及各种多模态数据融合方法下的评估指标分析。来自公开挑战赛（https://grand-challenge.org）的基准数据集可以验证肿瘤分割
多模态人工智能中的偏见：公平自动招聘的试验台
决策算法在社会中的存在感如今正在迅速增加，同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上，许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体（例如，某些用于人员识别的生物特征识别系统）。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响，我们提出了一个虚构的自动招聘测试平台：FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能（AI）从非结构化数据中提取敏感信息并以不良（不公平）的方式将其与数据偏见结合起来的能力。最后，我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法（SensitiveNets）来实验歧视感知学习，以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具，特别是更公平的自动招聘系统。
适用于工业和研究的多模态表征和高级分析选项
金相学长期以来一直是冶金学家关注的焦点。在以工业为中心的工作流程中，可以使用光学和电子显微镜快速准确地完成常规检查和质量控制任务；现在，多模态显微镜能够提供广泛的分析能力，这些分析能力是原位的，而且通常是非破坏性的。蔡司提供的解决方案专注于工业研究人员和质量工程师的五个关键领域：化学、晶体学、尺寸测量、断层扫描和确定加工参数。