标题:基于 EEG 的长期警觉和注意力缺失评估,使用以用户为中心的频率标记方法 作者:S Ladouce a、∗、JJ Torre Tresols b、K. Le Goff c 和 F Dehais b、da 大脑与认知,鲁汶脑研究所,鲁汶天主教大学,比利时鲁汶 b 人为因素与神经人体工程学,法国图卢兹高等航空航天学院 c 空中客车运营公司 SAS,设计中的人为因素与人体工程学,法国图卢兹 d 生物医学工程,德雷塞尔大学,宾夕法尼亚州费城,美国 ∗ 通讯作者:simon.ladouce@kuleuven.be ORCID(s):0000-0001-6760-6240 (S. Ladouce); 0000-0002-8292-5220 (JJT Tresols);0000-0002-8079- 3834 (KL Goff);0000-0003-0854-7919 (F. Dehais) CRediT 作者贡献声明:S. Ladouce:概念化、数据收集、数据分析、写作。JJ Torre-Tresols:数据分析、写作。K. Le Goff:写作。F Dehais:概念化、写作。重点
Christopher Wickens 3 Frédéric Dehais 1 1 ISAE-SUPAERO,法国图卢兹联邦大学。 2 Truestream Aerospace GmbH,德国汉堡。 3 美国科罗拉多州立大学心理学系,科罗拉多州博尔德。 不稳定进近已被确定为进近和着陆事故(例如跑道外接地、硬着陆、机尾撞击等)的主要原因。我们进行了一项实验以分析飞行员在这种进近过程中的表现。十名具有机型等级的商业飞行员在汉堡机场不稳定进近期间分别驾驶 B737 全速飞行模拟器飞行。收集了飞行员飞行 (PF) 的目光。结果显示,一半的飞行员坚持做出错误的着陆决定。后者飞行员在姿态指示器/飞行指引仪上停留的时间更长,而执行复飞的飞行员在做出最终决定之前则更多地注视导航显示器。这些发现表明,在执行相应任务之前很长一段时间内,飞行员就已经做出了着陆还是复飞的决定,而使用启发式方法会影响飞行员的表现。简介不稳定的进近已被确定为造成进近和着陆事故的主要原因。进近和着陆过程中飞行员在飞机操控、系统控制或机组资源管理方面表现不佳,这表明,从 2001 年到 2010 年,全球 49% 的致命事故发生在进近和着陆期间
神经技术将神经科学与工程学相结合,创造出研究、修复和增强大脑功能的工具。传统上,研究人员使用脑机接口 (BCI) 等神经技术作为辅助设备,例如让闭经患者进行交流。在过去的几十年里,脑电图 (EEG) 和功能性近红外光谱 (fNIRS) 等非侵入性脑成像设备变得更加便携和便宜,为神经技术的创新应用铺平了道路(Ayaz 和 Dehais,2018 年)。神经人体工程学和神经工程学的最新趋势是使用神经技术来增强人类的各种能力,包括(但不限于)沟通、情感、感知、记忆、注意力、参与度、情境意识、解决问题和决策(Cinel 等人,2019 年;Kosmyna 和 Maes,2019 年)。本研究主题汇集了 12 篇关于用于人类增强的非侵入式 BCI 开发的最新进展的文章,特别强调了大脑刺激和神经解码。为了介绍人类增强这一主题,Dehais 及其同事提出了一个二维框架,该框架结合了唤醒和任务参与度来表征人类增强中通常使用的不同变量,例如心理工作量和人类表现(Dehais et al., 2020 )。具体而言,任务参与度低会导致思维游离或努力放弃,具体取决于唤醒水平,而唤醒度过高则可能导致固执己见或注意力盲视和耳聋。因此,可以使用神经技术将大脑引导到唤醒-参与空间中的最佳位置,以最大限度地提高表现,该位置的特点是中等水平的唤醒和高任务参与度,这可以通过使用大脑刺激或神经反馈来实现。本研究主题中的几项研究调查了使用非侵入性脑刺激来增强人类表现:这是神经技术领域的一个非常热门的话题(Kadosh,2014;Santarnecchi 等人,2015)。Pilly 及其同事提出了一种基于虚拟现实的新范式,使用经颅电刺激(tES)来扩展长期元记忆(Pilly 等人)。通过在参与者睡眠时施加周期性的短脉冲,他们将 48 小时内一次性观看自然情节的记忆回忆提高了 10-20%。Patel 及其同事进行了一项系统的荟萃分析,以审查使用经颅直流电刺激(tDCS)来改善上肢运动表现(Patel 等人)。脑刺激可显著减少反应时间和任务执行时间,并增加肘部屈曲任务的力量和准确性。王及其同事报告称,将大脑刺激与体育训练相结合可以增加运动诱发电位 (MEP) 幅度和肌肉强度,并降低动态姿势
神经技术将神经科学与工程学相结合,创造出研究、修复和增强大脑功能的工具。传统上,研究人员使用脑机接口 (BCI) 等神经技术作为辅助设备,例如让闭经患者进行交流。在过去的几十年里,脑电图 (EEG) 和功能性近红外光谱 (fNIRS) 等非侵入性脑成像设备变得更加便携和便宜,为神经技术的创新应用铺平了道路(Ayaz 和 Dehais,2018 年)。神经人体工程学和神经工程学的最新趋势是使用神经技术来增强人类的各种能力,包括(但不限于)沟通、情感、感知、记忆、注意力、参与度、情境意识、解决问题和决策(Cinel 等人,2019 年;Kosmyna 和 Maes,2019 年)。本研究主题汇集了 12 篇关于用于人类增强的非侵入式 BCI 开发的最新进展的文章,特别强调了大脑刺激和神经解码。为了介绍人类增强这一主题,Dehais 及其同事提出了一个二维框架,该框架结合了唤醒和任务参与度来表征人类增强中通常使用的不同变量,例如心理工作量和人类表现(Dehais et al., 2020 )。具体而言,任务参与度低会导致思维游离或努力放弃,具体取决于唤醒水平,而唤醒度过高则可能导致固执己见或注意力盲视和耳聋。因此,可以使用神经技术将大脑引导到唤醒-参与空间中的最佳位置,以最大限度地提高表现,该位置的特点是中等水平的唤醒和高任务参与度,这可以通过使用大脑刺激或神经反馈来实现。本研究主题中的几项研究调查了使用非侵入性脑刺激来增强人类表现:这是神经技术领域的一个非常热门的话题(Kadosh,2014;Santarnecchi 等人,2015)。Pilly 及其同事提出了一种基于虚拟现实的新范式,使用经颅电刺激(tES)来扩展长期元记忆(Pilly 等人)。通过在参与者睡眠时施加周期性的短脉冲,他们将 48 小时内一次性观看自然情节的记忆回忆提高了 10-20%。Patel 及其同事进行了一项系统的荟萃分析,以审查使用经颅直流电刺激(tDCS)来改善上肢运动表现(Patel 等人)。脑刺激可显著减少反应时间和任务执行时间,并增加肘部屈曲任务的力量和准确性。王及其同事报告称,将大脑刺激与体育训练相结合可以增加运动诱发电位 (MEP) 幅度和肌肉强度,并降低动态姿势
神经人体工程学方法建议使用神经科学工具来监控操作员,以评估其在面对复杂活动时的认知状态 [Parasuraman 和 Rizzo 2008]。它的目标不是用机器取代人类,而是加强和优化人机协作。一种有前途的方法,即当前论文项目的核心,是在机上集成眼动仪以监控飞行员的眼球运动 [Peysakhovich 等人 2016]。这些数据可进一步用于推断机组人员的注意力状态,可以及早发现并预防其故障 [Dehais 等人 2017、2015;Lefrancois 等人 2016;Liu 等人 2016;Peysakhovich 等人 2018]。
frédéricDehais,Neurogoransic&人为因素实验室,DCAS,ISAE-SUPAERO,图卢兹,法国,法国和生物医学工程,科学和卫生系统,宾夕法尼亚州德雷克斯大学,美国宾夕法尼亚大学,美国帕桑大学,Hasan Ayaz,Hasan Ayaz,生物医学工程,科学和卫生学院信息学,波兰·西蒙·拉杜斯(Opole Technology),波兰西蒙·拉杜斯(Poland Simon Ladouce),神经工程学与人类因素实验室,DCAS,ISAE-SUPAERO,图卢兹,法国,法国念珠菌,巴雷托,生物医学工程,科学和卫生系统,DREXEL大学,DREXEL大学,宾夕法尼亚州DREXEL大学,美国宾夕法尼亚州Waldemar KarwowskifrédéricDehais,Neurogoransic&人为因素实验室,DCAS,ISAE-SUPAERO,图卢兹,法国,法国和生物医学工程,科学和卫生系统,宾夕法尼亚州德雷克斯大学,美国宾夕法尼亚大学,美国帕桑大学,Hasan Ayaz,Hasan Ayaz,生物医学工程,科学和卫生学院信息学,波兰·西蒙·拉杜斯(Opole Technology),波兰西蒙·拉杜斯(Poland Simon Ladouce),神经工程学与人类因素实验室,DCAS,ISAE-SUPAERO,图卢兹,法国,法国念珠菌,巴雷托,生物医学工程,科学和卫生系统,DREXEL大学,DREXEL大学,宾夕法尼亚州DREXEL大学,美国宾夕法尼亚州Waldemar Karwowski
正如本期刊《田野大挑战》文章(Dehais等,2020a)中所述,Neurogeronomics就是要了解工作和日常生活中的大脑。了解日常生活中的大脑对于作为基础研究领域的临床,心理和社会神经科学以及利用神经科学知识的应用至关重要,这是从一开始就一直具有该领域的核心利益(Parasuraman,2003年)。在消费者神经工程学中,我们专注于应用程序 - 以她或他的专业能力或空闲时间为日常消费者的产品和服务。可以通过两种方式来理解消费者神经基础学领域。涉及开发和验证神经科学消费品的涉及。要为日常消费者购买和使用,这些商品不仅需要有用或有趣,而且还需要便宜,易于使用。另一种涉及神经科学方法的应用来以其消费者的能力研究用户,研究用户体验,产品可用性和产品营销。在消费者神经工程学方面,广泛的神经经济学研究致力于其发展。Examples are studies on predicting missing auditory alerts ( Dehais et al., 2014 ), predicting memorized visual information ( Brouwer et al., 2017b ), detecting workload, fatigue and mind wandering ( Borghini et al., 2014 ), usually with the aim of adapting semi-automated systems to better fit the current state of the user ( Putze et al., 2018; Dehais et Al。,2020b; Roy等,2020)。另一个例子是使用可穿戴技术监测群体的关注和参与,以便在教育环境中使用(Dikker等,2017; Stuldreher等,2020; Van Beers等,2020)。与科学的工作努力发展为开发神经经济学应用,该行业出现了提供(声称)将生理措施与精神状态相关联的产品和服务,并根据这些措施提供建议或反馈。该行业中产品的示例是手腕和头带,以监视和降低自己的压力水平,或者用于检测娱乐目的的情绪。科学研究和行业中的一个趋势子场是通过神经刺激直接调节大脑活动的工具(Tyler等,2017; Vosskuhl等,2018)。消费者神经基础学是一种使用神经科学作为消费者涵盖神经营销能力的人的学科(Lee等,2007; Ariely and Berns,2010; Stasi et al。,2018),Neuromenonsics,Neuromenonsics(Sanfey等,2006; Clither et al。,2006; Clither et al。 Plassmann等,2015)。该应用领域旨在更好地了解消费者及其与产品和服务的互动,而不是传统的自我报告调查以及焦点小组的表达回应。例子是关于愿意支付意愿的神经科学指标(Ramsøy等,2018)和购买行为(çakir等,2018);利用神经科学研究情绪在决策中的作用(Rampl等,2016)并评估广告或营销活动(Cartocci等,2017; Krampe等,2018)。类似于消费者神经基质学作为一种开发神经科学消费品的学科,对于消费者神经基础学作为研究消费者的学科,已经有一个神经营销行业可以将这种学科商业化。
考虑到人为因素和神经科学的最新研究可以为理解这些现象提供解释。这是 AXA-ISAE“飞行安全的神经工学和人为因素”主席 Frédéric Dehais 教授领导的 ISAE-SUPAERO 研究团队选择的道路。这个多学科团队由 16 名神经科学、人工智能、人为因素和信号处理领域的永久和非常任研究人员组成。该团队拥有独特的资源,例如 2 个千斤顶模拟器和 10 架轻型飞机(TB20、DR400、Aquila)。除了 AXA 主席最近获得的资金(100 万欧元)之外,该团队还获得了 130 万欧元(州和地区)的资金,用于装备脑成像传感器,并在 ISAE 校园内建立一个专门的神经工效学中心。
摘要 — 事故分析表明,飞行员可能无法处理诸如警报之类的听觉刺激,这种现象称为注意力不集中性失聪。这项研究的动机是开发一种被动脑机接口,可以预测在真实飞行条件下这种关键现象的发生。十名配备干脑电图系统的志愿者必须飞行一个具有挑战性的飞行场景,同时通过按下按钮来响应听觉警报。行为结果显示,飞行员错过了 36% 的听觉警报。ERP 分析证实,由于潜在的注意力瓶颈机制,这种现象会影响早期(N100)和晚期(P300)阶段的听觉处理。使用稀疏表示分类 (SRC)、稀疏和密集表示 (SDR) 以及更传统的方法(例如线性判别分析 (LDA)、收缩 LDA 和最近邻 (1-NN)),对警报开始前三秒提取的频率特征进行受试者间分类。在最佳情况下,SRC 和 SDR 分别给出了 66.9% 和 65.4% 的正确平均分类率来预测注意力不集中性耳聋的发生,优于 LDA (60.6%)、sLDA (60%) 和 1- NN (59.6%)。这些结果为神经自适应自动化的实施开辟了光明的前景,最终目标是增强警报刺激传递,以便人们感知和采取行动。
移动大脑和身体成像 (MoBI;Gramann 等人,2011) 研究方法的出现提供了前所未有的机会,可以脱离人工实验室环境,直接在现实环境中研究认知过程 (De Vos、Gandras 和 Debener,2014;Gramann、Jung、Ferris、Lin 和 Makeig,2014;Makeig、Gramann、Jung、Sejnowski 和 Poizner,2009)。在过去十年中,传感器微型化技术取得了进展,提高了研究级身体和神经成像硬件的便携性 (Mcdowell 等人,2013),从而允许在实验室外长时间记录大脑数据 (Hölle、Meekes 和 Bleichner,2021)。更确切地说,移动 EEG 和移动眼动追踪 (ET) 开辟了新的研究途径,可以更好地了解人们在现实世界中的思维和行为方式。利用此类移动研究方法所带来的激动人心的前景激发了人们对开发新型信号处理方法的兴趣(Reis、Hebenstreit、Gabsteiger、von Tscharner 和 Lochmann,2014 年)。总之,这些发展使得人们能够直接在自然环境中研究人类认知(Ladouce、Donaldson、Dudchenko 和 Ietswaart,2017 年),以解决广泛研究领域的基础和应用问题,例如体育科学(Park、Fairweather 和 Donaldson,2015 年)、建筑(Djebbara、Fich 和 Gramann,2019 年)和城市规划(Birenboim、Helbich 和 Kwan,2021 年)、神经人体工程学(Gramann 等人,2021 年;Dehais、Karwowski,