硬件技术和分析方法的进步使脑电图 (EEG) 实验具有越来越多的移动性。除了神经活动之外,移动大脑/身体成像 (MoBI) 研究还可以记录各种类型的数据,例如运动或眼动追踪。尽管有可用的选项可以以标准化的方式分析 EEG 数据,但它们并不能完全涵盖来自移动实验的复杂多模态数据。因此,我们提出了 BeMoBIL 管道,这是 MATLAB 中一个易于使用的管道,支持时间同步处理多模态数据。它基于 EEGLAB 和 fieldtrip,由用于 EEG 预处理和随后的源分离的自动化功能组成。它还提供用于运动数据处理和从不同数据模态中提取事件标记的功能,包括使用独立成分分析从 EEG 中提取事件。该管道引入了一种新的稳健方法,用于基于感兴趣区域的独立 EEG 成分的组级聚类。最后,BeMoBIL 管道在各个处理步骤中提供分析可视化,保持分析透明并允许对结果进行质量检查。所有参数和步骤都记录在数据结构中,可以使用相同的脚本完全复制。该流程使(移动)EEG 和身体数据的处理和分析更加可靠,并且不受个别研究人员的先前经验的影响,从而促进了 EEG 的一般使用,特别是 MoBI。这是一个开源项目,可在 https://github.com/BeMoBIL/bemobil-pipeline 下载,允许将来进行社区驱动的改编。
摘要 - 近年来,使用运动图像的大脑计算机界面(BCI)显示出一些局限性在控制质量方面。为了改善这项有前途的技术,一些研究旨在与其他技术(例如眼睛跟踪)开发混合BCI,这些技术显示出更可靠的可靠性。但是,在机器人控制中使用眼动仪可能会自身影响机构感(SOA)(SOA)和用于运动图像(MI)区域的大脑活动。在这里,我们探讨了代理意识与运动皮层活动之间的联系。为此,我们使用了投影在表面上的虚拟臂,该虚拟手臂由运动捕获控制或使用眼迹器凝视控制。我们发现,在凝视控制任务期间,电动机皮层有一项活动,并且对预计的机器人臂的控制会带来显着差异,这与观察机器人移动的情况有很大的差异。
目的:深部脑刺激 (DBS) 是一种行之有效的帕金森病 (PD) 治疗方法,通常可增强运动功能。然而,DBS 后可能会出现一些不良副作用,从而降低患者的生活质量。因此,临床团队必须仔细选择要进行 DBS 的患者。在过去十年中,曾有人尝试将术前数据与 DBS 临床结果联系起来,其中大部分都集中在运动症状上。在本文中,我们提出了一种基于机器学习的方法,能够预测大量 PD 的 DBS 临床结果。方法:我们提出了一种多模式管道,称为 PassFlow,可预测 84 个临床术后临床评分。PassFlow 由一个用于压缩临床信息的人工神经网络、一种用于从 T1 成像中提取形态生物标志物的最先进的图像处理方法以及一个用于执行回归的 SVM 组成。我们在 196 名接受 DBS 的 PD 患者身上验证了 PassFlow。结果:PassFlow 的相关系数高达 0.71,能够显著预测 84 个评分中的 63 个,优于比较线性方法。还发现,利用这些术前信息预测的指标数量与可获得这些信息的患者数量相关,表明 PassFlow 方法仍在积极学习中。结论:我们提出了一种基于机器学习的新型流程,用于预测 PD 患者 DBS 术后的各种临床结果。PassFlow 考虑了来自不同数据模式的各种生物标志物,仅从术前数据中就显示出一些评分的高相关系数。这表明,DBS 的许多临床结果都可以预测,而与特定的模拟参数无关,因为 PassFlow 已在没有此类刺激相关信息的情况下得到验证。
生成的人工智能(AI)模型,例如扩散模型和Openai的Chatgpt,正在通过增强诊断准确性和自动化临床工作流程来改变医学。该领域已经迅速发展,从文本 - 仅用于临床文档和决策支持的大型语言模型向多模式AI系统提供,能够在单个模型中整合各种数据模式,包括成像,文本和结构化数据。这些技术的各种景观以及不断上升的兴趣强调了对其应用和潜力进行全面审查的必要性。此范围审查探讨了多模式AI的演变,突出了其在临床环境中的方法,应用程序,数据集和评估。遵守Prisma-SCR指南,我们系统地查询PubMed,IEEE Xplore和Web of Science,优先于2024年底发表的最新研究。严格筛选后,包括144篇论文,揭示了这个动态领域的关键趋势和挑战。我们的发现强调了从单峰方式转变为多模式方法的转变,在诊断支持,医疗报告生成,药物发现和对话性AI方面引起了创新。然而,仍然存在关键挑战,包括整合异质数据类型,改善模型的解释性,解决道德问题以及在现实世界中验证现实世界临床环境中验证AI系统。本评论总结了当前的艺术状态,确定了关键差距,并提供了见解,以指导医疗保健中可扩展,可信赖和临床影响力的多模式AI解决方案的发展。
AI的最新进展彻底改变了材料科学和加速材料发现的财产预测。图形神经网络(GNN)由于能够表示晶体结构作为图形,有效捕获局部相互作用并提供出色的预测,因此脱颖而出。但是,这些方法通常会丢失关键的全局信息,例如晶体系统和重复单位连接。为了解决这个问题,我们提出了Cast,这是一个基于跨注意的多模式融合模型,该模型集成了图形和文本模式以保留基本的材料信息。cast使用交叉注意机制将节点 - 和令牌级的特征结合在一起,超过了依赖于材料级嵌入(如图形平均值或[Cls]令牌)的先前方法。掩盖的节点预测预处理策略进一步增强了原子级信息的整合。与Crysmmnet和MultiMAT等方法相比,我们的四个晶体特性(包括带隙)的性质预测的实现最大提高了22.9%。预处理是对齐节点和文本嵌入的关键,并且注意力图证实了其在捕获节点和令牌之间关系的有效性。这项研究强调了材料科学中多模式学习的潜力,为更强大的预测模型铺平了道路,这些模型纳入了本地和全球信息。
摘要 — 脑机接口依赖于看似简单但实际执行起来却很复杂的认知任务。在这种情况下,提供引人入胜的反馈和主体的体现是整个系统性能的关键之一。然而,事实证明,单靠非侵入性大脑活动通常不足以精确控制机械臂等复杂外部设备的所有自由度。在这里,我们开发了一种混合 BCI,它还集成了眼动追踪技术,以提高主体的整体代理感。虽然之前已经探索过这种解决方案,但如何结合凝视和大脑活动以获得有效结果的最佳策略研究甚少。为了解决这一差距,我们探索了两种不同的策略,其中执行运动想象的时间会发生变化;一种策略可能比另一种策略更不直观,这会导致性能差异。
©作者2025。Open Access本文在创意共享属性下获得许可 - 非商业 - 非洲毒素4.0国际许可证,该许可允许以任何中等或格式的任何非商业用途,共享,分发和复制,只要您与原始作者提供适当的信誉,并为您提供了符合创造性共识许可的链接,并提供了持有货物的启动材料。您没有根据本许可证的许可来共享本文或部分内容的适用材料。本文中的图像或其他第三方材料包含在文章的创意共享许可中,除非在信用额度中另有说明。如果本文的创意共享许可中未包含材料,并且您的预期用途不受法定法规的允许或超过允许的用途,则您需要直接从版权所有者那里获得许可。要查看此许可证的副本,请访问http://创建ivecommons。org/licen ses/by-nc-nd/4。0/。
摘要 — 目的:近年来,黎曼几何在脑机接口 (BCI) 中的应用势头强劲。为黎曼 BCI 提出的大多数机器学习技术都认为流形上的数据分布是单峰的。然而,由于高数据变异性是脑电图 (EEG) 的一个关键限制,因此分布可能是多峰的而不是单峰的。在本文中,我们提出了一种新颖的数据建模方法,用于考虑 EEG 协方差矩阵的黎曼流形上的复杂数据分布,旨在提高 BCI 的可靠性。方法:我们的方法黎曼谱聚类 (RiSC) 使用基于测地距离的相似性测量的图来表示流形上的 EEG 协方差矩阵分布,然后通过谱聚类对图节点进行聚类。这允许灵活地在流形上对单峰和多峰分布进行建模。可以以 RiSC 为基础设计异常值检测器(即异常值检测黎曼谱聚类 (oden-RiSC))和多模态分类器(即多模态分类器黎曼谱聚类 (mcRiSC))。odenRiSC/mcRiSC 的所有必需参数均以数据驱动的方式选择。此外,无需预设异常值检测阈值和多模态分类模式数。结果:实验评估表明,odenRiSC 可以比现有方法更准确地检测 EEG 异常值,并且 mcRiSC 的表现优于标准单模态分类器,尤其是在高变异性数据集上。结论:odenRiSC/mcRiSC 有望使实验室外的真实 BCI 和神经人体工程学应用更加稳健。意义:RiSC 可以用作稳健的 EEG 异常值检测器和多模态分类器。
摘要 - 目的:riemannian几何形状用于脑部计算机界面(BCIS)已在纪念百年中获得了动力。针对Riemannian BCIS提出的大多数机器学习技术都会考虑一个人的数据分布是单峰的。但是,由于高数据可变性是脑电图(EEG)的关键限制,因此该分布可能是多模式的,而不是单峰。在本文中,我们提出了一种新型的数据建模方法,用于考虑在EEG协方差矩阵的Riemannian歧管上考虑复杂的数据分布,旨在提高BCI可靠性。方法:我们的方法,riemannian光谱聚类(RISC),代表使用基于地质距离提出的模拟测量的图形上的eeg协方差矩阵分布,然后通过光谱群集将图形节点组成。这允许在歧管上建模单峰和多模式分布。RISC可以用作设计名为Outier检测的离群检测器Riemannian光谱聚类(ODEN-RISC)和名为多模式的多模式分类器Riemannian Spectral spectral clustering(MCRISC)的基础。以数据驱动方式选择Odenrisc/Mcrisc的所有必需参数。越过,无需预先设置离群检测的阈值和多模式分类的模式的数量。结果:实验评估表明,与现有方法相比,Odenrisc可以更准确地检测EEG异常值,而Mcrisc进行了标准的单峰分类器,尤其是在高变异性数据集上。结论:预计Odenrisc/Mcrisc将有助于使现实生活中的BCI在实验室外和神经学应用程序外应用更强大。明显:RISC可以用作强大的EEG Outier检测器和多模式分类器。
Cerebrospinal fluid-contacting neurons: multimodal cells with diverse roles in the CNS Claire Wyart 1† , Martin Carbo-Tano 1 , Yasmine Cantaut-Belarif 1 , Adeline Orts-Del'Immagine 1 and Urs L. Böhm 2 1 Institut du Cerveau (ICM), INSERM U1127, UMR CNRS 7225巴黎,索邦大学,法国巴黎。2卓越神经集群,柏林柏林Charité大学,德国。†电子邮件:claire.wyart@icm-institute.org摘要|脑脊液(CSF)是一种复杂的解决方案,可在CNS周围循环