硬件技术和分析方法的进步使脑电图 (EEG) 实验具有越来越多的移动性。除了神经活动之外,移动大脑/身体成像 (MoBI) 研究还可以记录各种类型的数据,例如运动或眼动追踪。尽管有可用的选项可以以标准化的方式分析 EEG 数据,但它们并不能完全涵盖来自移动实验的复杂多模态数据。因此,我们提出了 BeMoBIL 管道,这是 MATLAB 中一个易于使用的管道,支持时间同步处理多模态数据。它基于 EEGLAB 和 fieldtrip,由用于 EEG 预处理和随后的源分离的自动化功能组成。它还提供用于运动数据处理和从不同数据模态中提取事件标记的功能,包括使用独立成分分析从 EEG 中提取眼动和步态相关事件。该管道引入了一种新的稳健方法,用于基于感兴趣区域的独立 EEG 成分的组级聚类。最后,BeMoBIL 管道在各个处理步骤中提供分析可视化,保持分析透明并允许对结果进行质量检查。所有参数和步骤都记录在数据结构中,可以使用相同的脚本完全复制。该流程使(移动)EEG 和身体数据的处理和分析更加可靠,并且不受个别研究人员的先前经验的影响,从而促进了 EEG 的一般使用,特别是 MoBI。这是一个开源项目,可在 https://github.com/BeMoBIL/bemobil-pipeline 下载,允许将来进行社区驱动的改编。
硬件技术和分析方法的进步使脑电图 (EEG) 实验具有越来越多的移动性。除了神经活动之外,移动大脑/身体成像 (MoBI) 研究还可以记录各种类型的数据,例如运动或眼动追踪。尽管有可用的选项可以以标准化的方式分析 EEG 数据,但它们并不能完全涵盖来自移动实验的复杂多模态数据。因此,我们提出了 BeMoBIL 管道,这是 MATLAB 中一个易于使用的管道,支持时间同步处理多模态数据。它基于 EEGLAB 和 fieldtrip,由用于 EEG 预处理和随后的源分离的自动化功能组成。它还提供用于运动数据处理和从不同数据模态中提取事件标记的功能,包括使用独立成分分析从 EEG 中提取事件。该管道引入了一种新的稳健方法,用于基于感兴趣区域的独立 EEG 成分的组级聚类。最后,BeMoBIL 管道在各个处理步骤中提供分析可视化,保持分析透明并允许对结果进行质量检查。所有参数和步骤都记录在数据结构中,可以使用相同的脚本完全复制。该流程使(移动)EEG 和身体数据的处理和分析更加可靠,并且不受个别研究人员的先前经验的影响,从而促进了 EEG 的一般使用,特别是 MoBI。这是一个开源项目,可在 https://github.com/BeMoBIL/bemobil-pipeline 下载,允许将来进行社区驱动的改编。
摘要:随着加密流量的兴起,传统的网络分析方法变得越来越有效,导致转向基于深度学习的方法。其中,基于多模式的基于学习的分类方法由于能够利用加密流量的各种功能集而提高了分类准确性,因此引起了人们的关注。但是,现有的研究主要依赖于晚期融合技术,这阻碍了数据中深度特征的全面利用。为了解决此限制,我们提出了一种新型的多模式加密流量分类模型,该模型将模态融合与多尺度特征提取同步。具体来说,我们的方法在特征提取的每个阶段进行实时融合方式,在每个级别上增强特征表示,并保留层间相关性,以实现更有效的学习。这种连续的融合策略提高了模型检测加密流量中细微变化的能力,同时促进其鲁棒性和对不断发展网络条件的适应性。对两个现实世界加密的流量数据集的实验结果表明,我们的方法达到的分类精度为98.23%和97.63%,表现优于现有的基于多模式学习的方法。
肾细胞癌(RCC)是一种恶性肿瘤,占成年癌症的3%,20% - 30%的患者在开始时被诊断为转移性RCC,而转移性RCC全身治疗的中位总生存期(OS)范围为16个月至16个月至50个月。免疫疗法是一种依赖于免疫细胞和肿瘤细胞特异性结合的新型疗法,可能是晚期肾细胞癌的潜在疗法。虽然已经在各种实体瘤中研究了嵌合抗原受体NK细胞(CAR-NK)疗法,但几个团队也报道了对其在RCC的应用的特定研究。在这篇综述中,我们介绍了NK细胞的细胞毒性机制,总结了RCC和NK细胞之间的联系,并对肾细胞癌Carcinaloma Car-NK治疗发布了新的见解。迄今为止,重点关注肾细胞癌和NK细胞的大多数研究仅声称NK细胞细胞毒性和NK细胞免疫抑制甚至免疫逃生的机制,但所涉及的分子也可能是肾细胞癌Carcinaroma carcinoma carcinoma car-NK疗法的有趣靶标。
摘要 - 近年来,使用运动图像的大脑计算机界面(BCI)显示出一些局限性在控制质量方面。为了改善这项有前途的技术,一些研究旨在与其他技术(例如眼睛跟踪)开发混合BCI,这些技术显示出更可靠的可靠性。但是,在机器人控制中使用眼动仪可能会自身影响机构感(SOA)(SOA)和用于运动图像(MI)区域的大脑活动。在这里,我们探讨了代理意识与运动皮层活动之间的联系。为此,我们使用了投影在表面上的虚拟臂,该虚拟手臂由运动捕获控制或使用眼迹器凝视控制。我们发现,在凝视控制任务期间,电动机皮层有一项活动,并且对预计的机器人臂的控制会带来显着差异,这与观察机器人移动的情况有很大的差异。
摘要:为了提高效率,人机和人机交互必须以多模态的理念进行设计。为了允许在多种不同的设备(计算机、智能手机、平板电脑等)上使用多种交互模式,例如使用语音、触摸、注视跟踪,并集成可能的连接对象,必须在系统的不同部分之间建立有效且安全的通信方式。当使用协作机器人 (cobot) 共享同一空间并在执行任务期间非常靠近人类时,这一点就更为重要。本研究介绍了使用 MQTT 协议的协作机器人在虚拟(Webots)和现实世界(ESP 微控制器、Arduino、IOT2040)中的多模态交互领域的研究工作。我们展示了如何高效地使用 MQTT,为系统的多个实体提供通用的发布/订阅机制,以便与连接的对象(如 LED 和传送带)、机械臂(如 Ned Niryo)或移动机器人进行交互。我们将 MQTT 的使用与之前几项研究工作中使用的 Firebase 实时数据库的使用进行了比较。我们展示了协作机器人和人类如何共同完成“挑选-等待-选择-放置”任务,以及这在通信和人体工程学规则方面意味着什么,包括健康或工业问题(残疾人和远程操作)。
目的:深部脑刺激 (DBS) 是一种行之有效的帕金森病 (PD) 治疗方法,通常可增强运动功能。然而,DBS 后可能会出现一些不良副作用,从而降低患者的生活质量。因此,临床团队必须仔细选择要进行 DBS 的患者。在过去十年中,曾有人尝试将术前数据与 DBS 临床结果联系起来,其中大部分都集中在运动症状上。在本文中,我们提出了一种基于机器学习的方法,能够预测大量 PD 的 DBS 临床结果。方法:我们提出了一种多模式管道,称为 PassFlow,可预测 84 个临床术后临床评分。PassFlow 由一个用于压缩临床信息的人工神经网络、一种用于从 T1 成像中提取形态生物标志物的最先进的图像处理方法以及一个用于执行回归的 SVM 组成。我们在 196 名接受 DBS 的 PD 患者身上验证了 PassFlow。结果:PassFlow 的相关系数高达 0.71,能够显著预测 84 个评分中的 63 个,优于比较线性方法。还发现,利用这些术前信息预测的指标数量与可获得这些信息的患者数量相关,表明 PassFlow 方法仍在积极学习中。结论:我们提出了一种基于机器学习的新型流程,用于预测 PD 患者 DBS 术后的各种临床结果。PassFlow 考虑了来自不同数据模式的各种生物标志物,仅从术前数据中就显示出一些评分的高相关系数。这表明,DBS 的许多临床结果都可以预测,而与特定的模拟参数无关,因为 PassFlow 已在没有此类刺激相关信息的情况下得到验证。
生成的人工智能(AI)模型,例如扩散模型和Openai的Chatgpt,正在通过增强诊断准确性和自动化临床工作流程来改变医学。该领域已经迅速发展,从文本 - 仅用于临床文档和决策支持的大型语言模型向多模式AI系统提供,能够在单个模型中整合各种数据模式,包括成像,文本和结构化数据。这些技术的各种景观以及不断上升的兴趣强调了对其应用和潜力进行全面审查的必要性。此范围审查探讨了多模式AI的演变,突出了其在临床环境中的方法,应用程序,数据集和评估。遵守Prisma-SCR指南,我们系统地查询PubMed,IEEE Xplore和Web of Science,优先于2024年底发表的最新研究。严格筛选后,包括144篇论文,揭示了这个动态领域的关键趋势和挑战。我们的发现强调了从单峰方式转变为多模式方法的转变,在诊断支持,医疗报告生成,药物发现和对话性AI方面引起了创新。然而,仍然存在关键挑战,包括整合异质数据类型,改善模型的解释性,解决道德问题以及在现实世界中验证现实世界临床环境中验证AI系统。本评论总结了当前的艺术状态,确定了关键差距,并提供了见解,以指导医疗保健中可扩展,可信赖和临床影响力的多模式AI解决方案的发展。
M. L. Drechsler,M。Lorke,F。Jahnke理论物理研究所,不来梅大学,Otto-Hahn-Allee 1,28359 Bremen,德国,德国电子邮件:mon dre@uni-bremen.de l. S.-M. Choi,F。Nippert,A。Koulas-Simos,S。Reitzenstein固态物理研究所,柏林技术大学,Hardenbergstr。 36,10623柏林,Ger-许多电子邮件:luca.choi@physik.tu-berlin.de; felix@physik.tu-berlin.de; aris.koulas-simos@tu-berlin.de; stephan.reitzenstei berlin.de; M. R. Wagner Paul-Drude-Institut,用于节日个人电子电子产品,莱布尼兹研究所柏林E.V.,Hausvogteiplatz研究协会,Hausvogteiplatz 5-7,10117柏林,德国固体州立物理研究所,柏林技术大学,柏林,Hardenbergstr。 36,10623柏林,播放:wagner@pdi-berlin.de F. F. Tabataba-vakili物理学学院,慕尼黑量子量子中心和纳米科学中心和卢德维格 - 米克斯米尔人 - 马克西米利人 - 穆特尼亚人 - 穆特·穆特·穆纳奇(Ludwig-Maximilians-universitötmünchen) (MCQST),Schellingstraße4,80799慕尼黑,Germation:f.tabataba@lmu.de B. Alloing,P。BoucaudUniversit´e Cˆote d'Azur d'Azur,CNRS,CNRS,CNRS,CRHEA,CRHEA,RUE BERNARD GR'EGORY,RUE BERNARD GR'EGORY,0690555555555555555550505 SOPHIA-SOPHIA-SOPHIA-ASSHIAIPOLIS,FIMASTIPOLIS,FIMASSIPOLIS,FIMASS:: blandine.alloing@crhea.cnrs.fr; philippe.boucaud@crhea.cnrs.frM. L. Drechsler,M。Lorke,F。Jahnke理论物理研究所,不来梅大学,Otto-Hahn-Allee 1,28359 Bremen,德国,德国电子邮件:mon dre@uni-bremen.de l. S.-M. Choi,F。Nippert,A。Koulas-Simos,S。Reitzenstein固态物理研究所,柏林技术大学,Hardenbergstr。36,10623柏林,Ger-许多电子邮件:luca.choi@physik.tu-berlin.de; felix@physik.tu-berlin.de; aris.koulas-simos@tu-berlin.de; stephan.reitzenstei berlin.de; M. R. Wagner Paul-Drude-Institut,用于节日个人电子电子产品,莱布尼兹研究所柏林E.V.,Hausvogteiplatz研究协会,Hausvogteiplatz 5-7,10117柏林,德国固体州立物理研究所,柏林技术大学,柏林,Hardenbergstr。36,10623柏林,播放:wagner@pdi-berlin.de F. F. Tabataba-vakili物理学学院,慕尼黑量子量子中心和纳米科学中心和卢德维格 - 米克斯米尔人 - 马克西米利人 - 穆特尼亚人 - 穆特·穆特·穆纳奇(Ludwig-Maximilians-universitötmünchen) (MCQST),Schellingstraße4,80799慕尼黑,Germation:f.tabataba@lmu.de B. Alloing,P。BoucaudUniversit´e Cˆote d'Azur d'Azur,CNRS,CNRS,CNRS,CRHEA,CRHEA,RUE BERNARD GR'EGORY,RUE BERNARD GR'EGORY,0690555555555555555550505 SOPHIA-SOPHIA-SOPHIA-ASSHIAIPOLIS,FIMASTIPOLIS,FIMASSIPOLIS,FIMASS:: blandine.alloing@crhea.cnrs.fr; philippe.boucaud@crhea.cnrs.fr
[1] Abdullah X. Ali、Meredith Ringel Morris 和 Jacob O. Wobbrock。2019 年。Crowdlicit:一种用于开展分布式最终用户诱导和识别研究的系统。2019 年 CHI 计算机系统人为因素会议论文集。ACM,美国纽约州纽约,1-12。https://doi.org/10.1145/3290605.3300485 [2] Khalil J. Anderson、Theodore Dubiel、Kenji Tanaka、Marcelo Worsley、Cody Poultney 和 Steve Brenneman。2019 年。化学舱:一种用于课堂的多模式实时回顾工具。2019 年国际多模式交互会议(ICMI '19)论文集。 ACM,纽约,纽约州,美国,506–507。https://doi.org/10.1145/3340555.3358662 [3] Muhammad Zeeshan Baig 和 Manolya Kavakli。2020 年。多模态系统:分类、方法和挑战。arXiv:2006.03813 [cs.HC]