摘要 — 目的:近年来,黎曼几何在脑机接口 (BCI) 中的应用势头强劲。为黎曼 BCI 提出的大多数机器学习技术都认为流形上的数据分布是单峰的。然而,由于高数据变异性是脑电图 (EEG) 的一个关键限制,因此分布可能是多峰的而不是单峰的。在本文中,我们提出了一种新颖的数据建模方法,用于考虑 EEG 协方差矩阵的黎曼流形上的复杂数据分布,旨在提高 BCI 的可靠性。方法:我们的方法黎曼谱聚类 (RiSC) 使用基于测地距离的相似性测量的图来表示流形上的 EEG 协方差矩阵分布,然后通过谱聚类对图节点进行聚类。这允许灵活地在流形上对单峰和多峰分布进行建模。可以以 RiSC 为基础设计异常值检测器(即异常值检测黎曼谱聚类 (oden-RiSC))和多模态分类器(即多模态分类器黎曼谱聚类 (mcRiSC))。odenRiSC/mcRiSC 的所有必需参数均以数据驱动的方式选择。此外,无需预设异常值检测阈值和多模态分类模式数。结果:实验评估表明,odenRiSC 可以比现有方法更准确地检测 EEG 异常值,并且 mcRiSC 的表现优于标准单模态分类器,尤其是在高变异性数据集上。结论:odenRiSC/mcRiSC 有望使实验室外的真实 BCI 和神经人体工程学应用更加稳健。意义:RiSC 可以用作稳健的 EEG 异常值检测器和多模态分类器。
摘要在成年人中,视听语音的整合与对单性刺激的响应相比,具有特定的更高(超源)或较低(次级)皮质反应。有证据表明,在婴儿期的视听语音感知期间,额快的净工作是活跃的,但对音频视觉整合的额叶响应的发展仍然未知。在当前的研究中,5个月大的孩子和10个月大的人观看了双峰(视听)和交替的单峰(听觉 +视觉)音节。在这种情况下,我们使用交替的单形式表示成人视为单独的音节的交替听觉和视觉音节。使用FNIRS,我们测量了在大型皮质区域的反应,包括下额叶和上等颞区。我们鉴定出与单峰条件和使用多变量模式分析(MVPA)的交替响应不同的通道,以解释对双峰(视听)(视听)的皮质反应的PAT terns和交替的单峰(听觉 +视觉)语音。结果表明,在两个年龄组中,整合都会引起与额颞皮质中超级和亚添加反应一致的皮质反应。单变量分析表明,这些响应的空间分布在5到10个月之间变得越来越多。MVPA在5个月时正确分类的响应,其键输入位于右半球的下额叶和上等颞通道中。然而,MVPA分类在10个月时并未成功,这表明在这个时代,可能对视听语音感知进行了皮质重新组织。这些结果表明,在婴儿期一致性视听语音整合的皮质反应的复杂和非毕业生发展。
最近的研究已经认识到皮质功能中存在一种梯度状组织,从初级感觉皮质到跨模式皮质。有人提出,该轴与神经递质表达的区域差异相一致。鉴于多巴胺 D1 受体 (D1DR) 的丰富性及其对调节和神经增益的重要性,我们测试了以下假设:D1DR 组织与功能架构相一致,并且 D1DR 共表达中的区域间关系调节功能串扰。使用世界上最大的多巴胺 D1DR-PET 和 MRI 数据库(N = 180%,50% 为女性),我们证明 D1DR 组织遵循单峰 - 跨模式层次结构,表达与功能连接主要梯度的高度空间对应性。我们还证明,单峰和跨峰区域之间 D1DR 密度的个体差异与皮质层级顶端的功能分化有关。最后,我们表明 D1DR 的空间共表达主要调节功能网络内的耦合,而不是功能网络之间的耦合。总之,我们的结果表明,D1DR 共表达为大脑的功能组织提供了一个生物分子层。
大脑网络中的信号传导在多个拓扑尺度上展开。区域可以通过本地电路交换信息,涵盖了具有相似功能的直接邻居和区域,或者在全球电路上,涵盖了具有不同功能的遥远邻居。在这里,我们研究了Cortico-cortical网络的组织如何通过参数调整信号在白色物质Connectome上传输的范围来介导本地化和全球通信。我们表明,大脑区域的首选沟通量表有所不同。通过调查大脑区域与跨多个尺度进行交流的倾向,我们自然揭示了它们的功能多样性:单峰区域显示对本地交流和多模式区域的偏爱显示了对全球交流的偏好。我们表明,这些偏好表现为区域和规模特异性结构函数耦合。也就是说,单峰区域的功能连通性来自小型电路中的单突触通信,而跨模态区域的功能连通性来自大型电路中的多突触通信。总的来说,目前的发现表明,沟通偏好在整个皮质中是高度异质的,从而塑造了结构功能耦合的区域差异。
神经人体工程学专注于大脑特征和相关心理状态,这些心理状态是行为的基础,旨在设计人机界面,提高认知和身体领域的表现。脑成像技术,如功能性近红外光谱 (fNIRS) 和脑电图 (EEG),被认为是实现这一目标的关键方法。最近的研究强调了结合 EEG 和 fNIRS 对提高这些接口系统的心理状态解码能力的价值,但对于这些改进是否适用于不同的范式和方法,以及在现实世界中使用这些系统的潜力,人们知之甚少。我们回顾了 33 项研究,比较了双峰 EEG-fNIRS 和单峰 EEG 和 fNIRS 在神经人体工程学的几个子领域中的心理状态解码准确性。根据这些研究,我们还考虑了在现实世界环境中利用这些系统的可穿戴版本的挑战。总体而言,所审查的研究表明,尽管在概念和方法方面存在重大差异,但双峰 EEG-fNIRS 的表现优于单峰 EEG 或 fNIRS。然而,要将双模态 EEG-fNIRS 应用于自然条件下,还有许多工作要做。我们考虑这些要点,以确定双模态 EEG-fNIRS 研究中预期或希望取得进展的方面。
摘要:心理负荷 (MW) 表示执行并发任务所需的大脑资源量。鉴于 MW 与交通事故风险的相关性,对高级驾驶辅助系统而言,MW 的评估至关重要。在本研究中,在模拟环境中驾驶时对参与者进行了两项认知测试(数字广度测试 - DST 和 Ray 听觉言语学习测试 - RAVLT)。选择这些测试来调查驾驶员对预定认知负荷水平的反应,以对 MW 进行分类。同时使用红外 (IR) 热成像和心率变异性 (HRV) 来获取与受试者心理生理相关的特征,以便为机器学习 (ML) 分类器提供信息。基于单峰 IR/单峰 HRV/多峰 IR + HRV 特征比较了六类模型。基于多模态 IR + HRV 特征的分类器达到了最佳分类器性能(DST:准确度 = 73.1%,灵敏度 = 0.71,特异性 = 0.69;RAVLT:准确度 = 75.0%,平均灵敏度 = 0.75,平均特异性 = 0.87)。基于单模态 IR 特征的分类器也表现出高性能(DST:准确度 = 73.1%,灵敏度 = 0.73,特异性 = 0.73;RAVLT:准确度 = 71.1%,平均灵敏度 = 0.71,平均特异性 = 0.85)。这些结果证明了使用完全非接触式和非侵入式技术来高精度评估驾驶员 MW 水平的可能性,这代表了交通事故预防领域的最新进展。
摘要。通过互补感应方式整合各种表示形式对于自主驾驶中的强大场景解释至关重要。近年来,融合视觉和范围数据的深度学习体系结构具有先进的2D和3D对象检测。但是,这些方式在不利的天气或照明条件下通常会降解,从而导致性能下降。虽然已经开发了域适应性甲基元素来弥合源域和目标域之间的缝隙,但由于源和目标域之间的固有差异,它们通常会缺乏。此差异可以在数据的不同分布和不同特征空间的不同分布中表现出来。本文介绍了一个全面的域自适应对象检测框架。通过深度转移学习开发,该框架旨在从标记的透明天气数据中稳健地概括到无标记的不良天气条件,从而增强了基于深度学习的对象检测模型的性能。创新的斑块熵融合模块(PEFM)是我们方法的核心,该方法动态整合了sens-sor数据,强调关键信息并最大程度地减少了背景干扰。这进一步补充了一种新型的加权决策模块(WDM),该模块(WDM)根据其在特定环境条件下的功效来调整不同传感器的贡献,从而优化了检测准确性。此外,我们在转移学习过程中集成了域对齐损失,以确保有效的域适应性通过将特征图差异定于清晰和不利天气数据集之间的差异。我们评估了不同数据集的模型,包括Exdark(单峰),CityScapes(单峰)和密集(Mul-timodal),在我们评估的时间点,它在所有数据集中排在所有数据集中。
要澄清,在本文中,我们使用定理的意义与L a t e X中使用的定理相同(例如,按\ new Theorem命令):一个定理的环境是一种结构化的陈述,可能是以特定方式进行编号的,用于以特定的方式进行编号,用于正式(通常是数学)的陈述:也可以代表一个正式的陈述:也可以是empormem,emporm a remem,一个定义,一个定义,一个定义,一个定义,一个定义,一个定义,等等,等等,等等,等等。定理,我们的意思是任何此类陈述。 通过证明,我们的意思是在证明环境中通常在L A T E X中呈现的内容:结果的证明或证明草图。 我们通过根据多模式机器学习来签署一种方法来解决定理 - 防护识别问题,该方法将文章的每个每个款分类为基于科学语言的基本,定理和证明标签,以印刷信息和PDF文档的视觉渲染为基础。 此外,我们考虑了有关段落块,归一化的空间坐标和页面编号的序列的信息以及页面断路,以利用一个事实,即段落的标签很大程度上依赖于前面(或以下)的段落。 我们在本文中提供了以下贡献,如图1:(i)定理的三个单峰(视觉,文本,字体,字体,字体,字体信息)模型,用于依靠现代机器学习技术(CNN,变形金刚,LSTMS),重点关注相对于相对于非常大的模型,依靠现代机器学习技术(CNN,变压器,LSTMS);请注意,文本模式方法依赖于预处理我们语料库的语言模型,该模型可能超出了我们的任务。 我们在第2节中介绍了三个单形模型。定理,我们的意思是任何此类陈述。通过证明,我们的意思是在证明环境中通常在L A T E X中呈现的内容:结果的证明或证明草图。我们通过根据多模式机器学习来签署一种方法来解决定理 - 防护识别问题,该方法将文章的每个每个款分类为基于科学语言的基本,定理和证明标签,以印刷信息和PDF文档的视觉渲染为基础。此外,我们考虑了有关段落块,归一化的空间坐标和页面编号的序列的信息以及页面断路,以利用一个事实,即段落的标签很大程度上依赖于前面(或以下)的段落。我们在本文中提供了以下贡献,如图1:(i)定理的三个单峰(视觉,文本,字体,字体,字体,字体信息)模型,用于依靠现代机器学习技术(CNN,变形金刚,LSTMS),重点关注相对于相对于非常大的模型,依靠现代机器学习技术(CNN,变压器,LSTMS);请注意,文本模式方法依赖于预处理我们语料库的语言模型,该模型可能超出了我们的任务。我们在第2节中介绍了三个单形模型。(ii)一个多模式晚期融合模型,结合了所有三种方式的特征。(iii)基于变压器模型的块顺序方法,该方法可用于通过捕获块之间的依赖性来提高任何单峰和多模型模型的表现。(iv)在Arxiv的大约200k英语论文数据集上进行了实验评估,其中一个单独的验证数据集为3.5K论文(总计529K段落块)。然后,我们在第3节中讨论如何将它们组合到多模式模型中,以及如何添加有关块序列信息的支持。我们在第4节中进一步提供了数据集的描述。所有单峰和多模型模型的实验结果均在第5节中列出。这项工作的扩展版本[12]可用,讨论了相关工作,有关不同模型的详细信息和实验。我们还参考第一作者的博士学位论文[10],以了解我们的方法和结果。可以在https://github.com/mv96/ mm_extraction上访问支持本文的代码,数据和模型。
第2章始于本文档中涵盖的各种类型的生成AI模型的介绍。到目前为止,检查了单峰文本对文本模型(第2.1章)和多模式图像和视频生成器,它们以文本,图像,视频或其组合形式进行输入,并生成图像(第2.2章)或视频(第2.3章)(第2.3章)。随后,第3章概述了每种模型带来的机会,包括一般机会和与IT安全性特别相关的机会。第4章和第5章然后解决与生成AI模型以及相应的对策相关的风险。由于许多风险和对策在整个不同模态的处理或生成(例如文本,图像,视频)中类似,因此以交叉方式考虑它们以避免冗余内容。最后,第6章提供了对策的映射,以将其定位在生成AI模型的生命周期中。