XiaoMi-AI文件搜索系统
World File Search System模态数据
时空信息融合在船舶辅助系统故障检测中的应用
传感器融合一直是数据分析及其应用的重点主题之一。个体传感信息通常用于揭示潜在的过程动态并识别其中的潜在变化。这些系统通常配备具有（可能）不同模态的多个传感器。这些问题表明需要融合分布式和异构信息，以便实时准确推断关键系统的状态。为此，本文开发并验证了分布式物理过程（例如，船上辅助系统）中的故障检测和分类方法。文献中提出了几种传感器融合方法来解决故障检测问题，包括线性和非线性滤波器、自适应模型参考方法和基于神经网络的估计方案。然而，据作者所知，这些技术尚未应用于船上系统，因为存在一些固有的困难，包括：（可能）信号的非平稳行为、过程动态的潜在非线性、输入输出和反馈相互作用、多模态数据的缩放和对齐以及乘性过程噪声。上述一些问题可以在一定程度上简化或通过更简单的解决方案来近似。例如线性和线性化建模和贝叶斯估计技术（例如扩展卡尔曼滤波和粒子滤波）[1][2]。研究人员还使用了软计算
脑成像数据的多模融合
摘要：神经影像数据通常包括多种模态，例如结构或功能磁共振成像、扩散张量成像和正电子发射断层扫描，它们为观察和分析大脑提供了多种视角。为了利用不同模态的互补表示，需要进行多模态融合以挖掘模态间和模态内信息。随着丰富信息的利用，结合多模态数据来探索健康和疾病状态下大脑的结构和功能特征正变得越来越流行。在本文中，我们首先回顾了用于融合多模态脑成像数据的广泛先进机器学习方法，大致分为无监督和监督学习策略。随后，讨论了一些代表性应用，包括它们如何帮助理解大脑区域化，如何改善行为表型和大脑衰老的预测，以及如何加速脑疾病的生物标志物探索。最后，我们讨论了一些令人兴奋的新兴趋势和重要的未来方向。总的来说，我们旨在全面概述脑成像融合方法及其成功应用，以及多尺度和大数据带来的挑战，这对开发新模型和平台提出了迫切的需求。
通过模态混合和深度监督进行脑部疾病诊断的多模态连接组的不完全学习
近年来，多模态脑网络研究通过刻画脑网络的多种连接类型及其内在的互补信息，大大提高了脑疾病诊断的效率。尽管多模态技术取得了令人鼓舞的性能，但大多数现有的多模态方法只能从具有完整模态的样本中学习，这浪费了大量的单模态数据。此外，大多数现有的数据插补方法仍然依赖于大量具有完整模态的样本。在本研究中，我们提出了一种模态混合数据插补方法，通过随机抽取不完整样本并将其合成为完整数据进行辅助训练。此外，为了减轻合成数据中不配对模态间互补信息的噪声，我们引入了一个具有深度监督的双边网络，以使用疾病特定信息改进和规范单模态表示。在 ADNI 数据集上的实验证明了我们提出的方法在不同完整模态样本率方面的疾病分类优势。关键词：脑连接组，不完全学习，深度监督，脑功能障碍，缺失模态
多模式医学数据分析综合综述
在过去的几十年里，医疗数据的大量扩张促使人们寻找智能医疗系统中数据分析的方法。从图片、档案、通信系统、电子健康记录、在线文档、放射学报告和不同风格的临床记录中获取具有特定数字信息的数据，引发了多模态概念的产生，也需要机器学习和深度学习技术来分析医疗系统。医疗数据在医学教育和诊断中起着至关重要的作用；确定不同模态之间的依赖关系至关重要。本文概述了当前的放射医学数据分析技术及其各种表示和分类方法和框架。简要概述了现有的医学多模态数据处理工作。本研究的主要目的是发现调查领域的差距，并列出放射学未来的任务和挑战。本研究纳入了系统评价和荟萃分析 (PRISMA) 指南的首选报告项目，以便有效地搜索文章并调查一些相关的科学出版物。对多模态医学数据分析进行了系统评价，并强调了其优势、局限性和策略。人工智能医疗领域的多模态性所具有的固有优势对疾病诊断框架的性能有着重大影响。
多模式人工智能代理支持学生基于动作的教育游戏
摘要。轻量级传感器（例如眼动仪、生理腕带和运动传感器）的可访问性不断提高，使得学生在参与基于运动的教育游戏 (MBEG) 时能够提取他们的认知、生理、骨骼和情感数据。实时分析这些多模态数据 (MMD) 可以深入了解学生的学习体验，并为及时、情境化、个性化的反馈提供新的机会以支持学生。在这项正在进行的工作中，我们提出了 MMD-AI 学习代理；一个由 MMD 驱动的人工智能 (AI) 代理生态系统，由 3 个独立的软件组件组成，它们共同促进学生在与 MBEG 交互期间的学习。Crunch Wizard 从学生在游戏过程中佩戴的眼动仪、生理腕带、网络摄像头和运动传感器接收 MMD，并得出相关的认知、生理和情感测量值。 AI 代理识别并提供适当的反馈机制，以支持学生的 MBEG 游戏学习体验。仪表板将测量结果可视化，让教师了解学生的进步情况。我们讨论了推动生态系统设计的基础工作，介绍了我们迄今为止完成的设计和开发，并概述了未来的方向。
J42 增强金属添加剂.pdf
本文介绍了一种适用于 Renishaw AM400 金属打印机的创新培训系统，该系统利用数字孪生 (DT) 框架内先进的视觉语言模型 (VLM) 与增强现实 (AR) 的协同作用。为了克服金属增材制造 (AM) 中传统培训方法的局限性，我们的系统集成了 AR 以提供沉浸式学习环境，并通过交互式数字叠加增强了现实世界的体验。该系统的核心在于使用 VLM，VLM 已在各种数据集上进行了预先训练，擅长处理多模态数据，从而为受训者提供细致入微且与上下文相关的指导。关键实验证明了该系统的有效性，特别强调了使用 VLM 作为人工智能 (AI) 代理来集成外部工具，例如用于阀门状态分类的 YOLO-v7 和用于控制面板文本识别的 CRAFT。这种方法显著提高了识别准确性、操作理解和人机交互，尤其是对于非专家用户而言，使复杂的金属 AM 操作更容易上手。该研究不仅展示了AR和VLM在工业培训中的潜力，而且为智能制造实践树立了新的标准，预示着其在各个工业领域的应用前景更加广阔。
在类似工作环境中推断用户面部表情 | WorkingAge
摘要 —与快乐、悲伤、恐惧、愤怒、厌恶和惊讶这六种基本情绪不同，用效价（正性 - 负性）和唤醒（强度）来建模和预测维度情感已被证明对于自然和现实世界设置更灵活、适用和有用。在本文中，我们旨在推断用户在不同难度级别（基线、简单、困难和压力条件）下从事多项工作类任务时用户的面部情感，包括（i）办公室环境，他们从事一项体力要求较低但需要更大精神压力的任务；（ii）流水线环境，需要使用精细运动技能；（iii）代表远程办公和电话会议的办公室环境。为了这个目标，我们首先设计了一项具有不同条件的研究，并收集了 12 个受试者的多模态数据。然后，我们用各种机器学习模型进行了几项实验，发现：（i）面部表情的显示和预测在非工作环境和工作环境中有所不同；（ii）使用在类似工作环境中捕获的数据集可以提高预测能力；（iii）片段级（光谱表示）信息对于改善面部表情预测至关重要。索引术语——情感状态、类似工作的任务、工作环境中的情绪
解决神经解剖学中的“位置”问题：一个具有学习映射的生成框架，用于将多模态、不完整数据注册到参考大脑中
将使用不同模态收集的不同大脑信息映射到与参考大脑相对应的公共坐标空间是现代神经科学的理想目标，其重要性与将基因组数据映射到参考基因组类似。虽然存在针对单模态数据（3D MRI 或 STPT 图像体积）的大脑图谱映射工作流程，但一般来说，数据集需要跨具有不同对比机制和尺度的模态进行组合，同时存在缺失数据以及参考中不存在的信号。到目前为止，这还是一个未解决的问题。我们通过开发和实施一个严格的非参数生成框架，从整体上解决了这个问题，该框架从数据中学习对比机制之间的未知映射并推断缺失数据。我们的方法可以严格量化不同个体大脑之间的局部销售变化，而这迄今为止一直被忽视。我们还能够定量描述个体形状的变化。我们的工作建立了一个定量的、可扩展的、简化的工作流程，将广泛的多模态全脑光学显微数据体统一到一个基于坐标的图谱框架中，这一步骤是现代神经科学中大规模整合全脑数据集的先决条件。
演讲会 下午 12:00
Sonia BOUZIDI “通过深度学习和图像识别增强可持续时尚决策支持。” Sonia BOUZIDI “通过深度学习和图像识别增强可持续时尚决策支持。” Siwar SLIMI “开发情商模型以优化车辆驾驶。” Sirine AMMAR “用于个人服务、智能移动和高级家庭自动化的智能脑机接口方法。” Rahma MAALEJ “从不同的脑活动获取方式自动识别癫痫发作。” Basma JALLOULI “用于老年人心理运动功能的认知评估的多模式方法。” Ibtissem BOUSHILA “探索脑部 MRI 在青少年肌阵挛性癫痫诊断中的应用。” Tayssir BOUSHILA “通过 MRI 图像研究与测量颈髓萎缩：Devic 视神经脊髓炎病例。” Aicha NOUISSER “基于从面部表情、声音甚至身体活动中识别情绪的多模态识别系统。” Dalila OTHMEN “在线阿拉伯语手写识别。” Chawki BARHOUMI “使用深度学习和多模态数据进行情绪识别。” Hend KAROUI “使用深度学习识别心脏病。” Nabil BENHAMED “糖尿病视网膜病变疾病检测的先进技术。” Mahmoud LIMAM “用于文档图像处理的生成深度学习模型。”
用于医疗诊断的人工智能——现有和未来的人工智能技术！
我们要向所有为“人工智能在医学计算机辅助诊断中的进展”特刊做出贡献的作者表示感谢，他们提供了基于人工智能的医学诊断的优秀最新研究成果。此外，还要特别感谢所有帮助我们处理本期特刊文章的审稿人。最后，我们要向日夜工作于本期特刊的编辑成员表示深切而热烈的感谢和敬意，他们提供了最新的基于人工智能的研究成果，丰富了第四次工业革命的人工智能医学知识。医学诊断是通过分析症状、病史和检查结果来评估医疗状况或疾病的过程。医学诊断的目标是确定医疗问题的原因并做出准确的诊断以提供有效的治疗。这可能涉及各种诊断测试，例如影像学检查（例如，X 光、MRI、CT 扫描）、血液检查和活检程序。这些测试的结果可帮助医疗保健提供者确定患者的最佳治疗方案。除了帮助诊断疾病外，医疗诊断还可用于监测疾病进展、评估治疗效果并在潜在健康问题变得严重之前发现它们。随着最近的人工智能革命，医疗诊断可以得到改进，通过提高诊断过程的预测准确性、速度和效率来彻底改变医疗诊断领域。人工智能算法可以分析医学图像（例如，X 光、MRI、超声波、CT 扫描和 DXA），并帮助医疗保健提供者更准确、更快地识别和诊断疾病。AI 可以分析大量患者数据，包括医学 2D/3D 成像、生物信号（例如 ECG、EEG、EMG 和 EHR）、生命体征（例如体温、脉搏率、呼吸频率和血压）、人口统计信息、病史和实验室测试结果。这可以支持决策并提供准确的预测结果。这可以帮助医疗保健提供者就患者护理做出更明智的决定。多模态数据方面患者数据的多样性是一种最佳智能解决方案，可以根据图像、信号、文本表示等方面的多种发现提供更好的诊断决策。此外，人工智能驱动的临床决策支持系统 (CDSS) 可以提供实时帮助和支持，以就患者护理做出更明智的决策。通过整合多种数据源，医疗服务提供者可以更全面地了解患者的健康状况及其症状的根本原因。多种数据源的组合可以更全面地反映患者的健康状况，减少误诊的机会并提高诊断的准确性。多模态数据可以帮助医疗服务提供者监测病情随时间的发展，从而更有效地治疗和管理慢性病。同时，使用多模态医疗数据，基于可解释 XAI 的医疗服务提供者可以更早地发现潜在的健康问题，在它们变得严重并可能危及生命之前 [ 1 ]。XAI 工具可以自动执行常规任务，让医疗服务提供者可以专注于更复杂的患者护理。