XiaoMi-AI文件搜索系统
World File Search System注视
感觉和运动责任纠缠的影响
四肢瘫痪患者表示，恢复手臂和手部功能是恢复独立性最重要的因素之一。我们研究的总体目标是开发辅助技术，使四肢瘫痪患者能够控制功能性伸手动作。这项研究是朝着我们的总体目标迈出的第一步，它评估了在实验环境中使用眼球运动来控制效应器运动的可行性。我们旨在了解对眼睛施加的额外运动要求如何影响功能性伸手过程中的眼手协调。我们特别感兴趣的是，当眼睛的感觉和运动功能因额外的运动责任而纠缠在一起时，眼球注视误差会受到怎样的影响。我们记录了参与者在伸手去拿显示器上的目标时的眼球和手部运动。我们在参与者的注视点位置处显示一个光标，这可以被认为类似于对辅助机器人手臂的控制。为了测量眼球注视误差，我们使用离线过滤器从原始眼球运动数据中提取眼球注视。我们将注视点与显示器上显示的目标位置进行了比较。结果表明，人类不仅能够利用眼球运动将光标引导至所需位置（1.04 ± 0.15 厘米），而且误差与手的误差相似（0.84 ± 0.05 厘米）。换句话说，尽管在直接控制效应器的眼球运动时，眼睛承担了额外的运动责任，但协调功能性伸展运动的能力并未受到影响。这项研究的结果支持使用眼睛作为控制运动的直接命令输入的有效性。
通过视觉神经辅助方法评估动态环境中的注意力监控水平
目的：本研究旨在通过视觉神经辅助方法建立一个框架，用于测量实时动画环境中人类操作员的各种注意力水平。背景：随着自动化和远程操作趋势的不断增长，了解动态环境中的人机交互可极大地帮助提高性能、提高操作效率和安全性。方法：对 20 名参与者进行了两项独立的 1 小时实验，记录了眼动追踪指标和脑电图 (EEG) 的神经活动。实验要求参与者在一组实验中表现出注意力集中的行为，在另一组中表现出注意力不集中的行为。还提取了两个片段（“增加的航班数量”和“相对恒定的航班数量”），以研究参与者相对于飞机数量的视觉行为差异。结果：对于这两项实验研究，注意力行为研究中的受试者的注视次数、注视持续时间、发现的飞机数量和着陆注视的发生率更高，而注意力不集中行为研究中的受试者的零注视帧数更高。在涉及“增加飞行次数”的实验中，与两组中“恒定飞行次数”的实验相比，发现的飞机百分比更高。新建立了三个参数（发现的飞机数量、着陆注视点和零注视点帧数）。由于雷达监控是一种大脑参与活动，因此所有参与者都记录了积极的脑电图数据。还制定了一个新任务参与指数 (TEI) 来预测不同的注意力水平。结论：结果提供了一种精细的量化工具，用于区分实时动态环境中的专注和不专注监控行为，可应用于各个领域。建议：建立定量 TEI 后，为未来研究按区域、基于时间的注意力水平以及与视觉任务参与和管理以及确定要探索的专业水平相关的眼部特征研究铺平了道路。还可以使用提出的 TEI 方法研究与疲劳有关的因素。
I-AI：一种可控制、可解释的人工智能系统，用于解读放射科医生对准确 CXR 诊断的高度关注
摘要 在胸部 X 光 (CXR) 诊断领域，现有研究通常仅侧重于确定放射科医生的注视点，通常是通过检测、分割或分类等任务。然而，这些方法通常被设计为黑盒模型，缺乏可解释性。在本文中，我们介绍了可解释人工智能 (I-AI)，这是一种新颖的统一可控可解释流程，用于解码放射科医生在 CXR 诊断中的高度关注度。我们的 I-AI 解决了三个关键问题：放射科医生注视的位置、他们在特定区域关注的时间以及他们诊断出的发现。通过捕捉放射科医生凝视的强度，我们提供了一个统一的解决方案，可深入了解放射学解释背后的认知过程。与当前依赖黑盒机器学习模型的方法不同，这些方法在诊断过程中很容易从整个输入图像中提取错误信息，而我们通过有效地屏蔽不相关的信息来解决这个问题。我们提出的 I-AI 利用视觉语言模型，可以精确控制解释过程，同时确保排除不相关的特征。为了训练我们的 I-AI 模型，我们利用眼球注视数据集来提取解剖注视信息并生成地面真实热图。通过大量实验，我们证明了我们方法的有效性。我们展示了旨在模仿放射科医生注意力的注意力热图，它编码了充分和相关的信息，仅使用 CXR 的一部分即可实现准确的分类任务。代码、检查点和数据位于 https://github.com/UARK-AICV/IAI。1. 简介
瞳孔活动的低/高指数 - NSF PAR
摘要 一种新颖的眼动追踪瞳孔直径振荡测量方法被推导出来作为认知负荷的指标。这种新的指标称为低/高瞳孔活动指数 (LHIPA)，能够在一些实验中区分认知负荷（相对于任务难度），而瞳孔活动指数则无法做到这一点。LHIPA 的基本原理与人类自主神经系统的功能有关，它产生了一种基于低/高瞳孔振荡频率比率的混合测量方法。这篇论文的贡献是双重的。首先，提供了 LHIPA 计算的完整文档。与 IPA 一样，研究人员可以将此指标应用于他们自己的实验中，在这些实验中，认知负荷的测量是感兴趣的。其次，通过对三项实验的分析，证明了 LHIPA 的稳健性，这三项实验分别是限制性固定注视计数任务、限制性较低的固定注视 n-back 任务和应用眼动打字任务。
基于EEG的眼动追踪技术又迈进了一步
在本文中，我们介绍了两种适应感兴趣区域的方法和算法。我们提出了一种新的深度神经网络 (DNN)，可用于使用 EEG 数据直接确定注视位置。基于 EEG 的眼动追踪是眼动追踪领域的一个新的、困难的研究课题，但它提供了一种基于图像的眼动追踪的替代方案，其输入数据集与传统图像处理相当。所提出的 DNN 利用 EEG 信号的空间依赖性，并使用类似于空间滤波的卷积，用于预处理 EEG 信号。通过这种方式，与最先进的技术相比，我们将从 EEG 信号进行的直接注视判断提高了 3.5 厘米 MAE（平均绝对误差），但不幸的是仍然没有实现直接适用的系统，因为与基于图像的眼动追踪器相比，不准确性仍然明显较高。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FEEGGaze&mode=list
PhysioLabXR：一个用于实时、多模式的 Python 平台……
近年来，人们对神经科学和人机交互 (HCI) 中的多模态实验越来越感兴趣，这些实验通常涉及闭环交互系统。许多新兴范式在扩展现实 (XR) 环境中找到了新的根源，包括虚拟现实 (VR) 和增强现实 (AR)。此类实验越来越多地融合多种模态并结合不同的生理测量。例如，一个传感器可以生成事件以从其他传感器中提取有意义的数据间隔，例如注视相关电位 (FRP) 研究，其中 EEG 时期锁定到眼动仪的视觉注视（Nikolaev 等人，2016 年）。还可以组合多种生理信号以增强其预测能力，以用于从情绪识别（He 等人，2020 年；Koelstra 等人，2011 年）到通过感觉运动节律进行运动驱动（Sollfrank 等人，2016 年）等应用。此外，多模态范式可以促进探索不同的生理系统如何相互作用；例如，瞳孔扩张可作为通过功能性磁共振成像（fMRI；Murphy 等人，2014）测量的蓝斑活动的替代。
用于凝视跟踪任务期间用户表现和疲劳评估的人机自适应模型
摘要：眼动界面是一种新兴技术，用户只需注视图形用户界面 (GUI) 即可控制它们。然而，使用凝视控制的 GUI 可能是一项艰巨的任务，会导致认知和身体负荷过重以及疲劳。为了应对这些挑战，我们提出了基于生物反馈的自适应人机辅助人机界面 (HA-HCI) 的概念和模型。该模型可以有效和可持续地使用由生理信号（例如凝视数据）控制的计算机 GUI。所提出的模型允许基于阻尼谐振子 (DHO) 模型在人机交互过程中进行分析性人类表现监测和评估。为了测试该模型的有效性，作者从 12 名玩凝视控制计算机游戏的健康志愿者那里获取了凝视跟踪数据，并使用奇偶统计分析对其进行了分析。实验结果表明，所提出的模型有效地描述和解释了注视跟踪性能动态，包括 GUI 控制任务性能的主体变化、长期疲劳和训练效果，以及基于注视跟踪的控制任务期间用户性能的短期恢复。我们还分析了现有的 HCI 和人类性能模型，并开发了现有生理模型的扩展，以开发自适应用户性能感知界面。所提出的 HA-HCI 模型从用户性能的角度描述了人与生理计算系统 (PCS) 之间的交互，结合了与 PCS 的标准 UI 组件交互的性能评估程序，并描述了系统应如何应对生产力 (性能) 的损失。我们通过设计眼控游戏进一步证明了 HA-HCI 模型的适用性。我们还开发了一个基于阻尼谐振的分析用户性能模型，该模型适用于描述基于注视跟踪的 PC 游戏性能的变化。使用奇偶分析测试了该模型的有效性，结果显示存在很强的正相关性。阻尼振荡模型建立的用户个人特征可用于根据玩家的游戏技能和能力对玩家进行分类。实验结果表明，玩家可以分为学习者（阻尼因子为负）和疲劳者（阻尼因子为正）。我们发现振幅和阻尼因子之间存在很强的正相关性，这表明良好的启动者通常疲劳率较高，而启动缓慢的疲劳率较低，甚至可能在比赛中提高其表现。提出的 HA-HCI 模型和分析用户性能模型为开发自适应的人性化 HCI 提供了一个框架，该框架能够监控、分析和提高使用基于生理计算的用户界面的用户的性能。所提出的模型在提高未来人类辅助凝视控制界面系统的可用性方面具有潜在的应用。
基于能量的自我中心视频中的无监督凝视预测
摘要：随着沉浸式计算设备的出现，自我中心感知迅速发展。人类注视预测是分析自我中心视频的一个重要问题，主要通过基于显着性的建模或高度监督的学习来解决。我们定量分析了监督深度学习模型在看不见的域外数据的自我中心注视预测任务中的泛化能力。我们发现它们的性能高度依赖于训练数据，并且仅限于训练注释中指定的域。在这项工作中，我们解决了在不使用任何训练数据的情况下联合预测人类注视点和自我中心视频时间分割的问题。我们引入了一个无监督的计算模型，该模型汲取了事件感知的认知心理学模型的灵感。我们使用 Grenander 的模式理论形式来表示时空特征，并将惊讶建模为预测注视点的机制。对两个公开数据集（GTEA 和 GTEA+ 数据集）的广泛评估表明，所提出的模型可以显著超越所有无监督基线和一些监督凝视预测基线。最后，我们表明该模型还可以对以自我为中心的视频进行时间分割，其性能可与更复杂、完全监督的深度学习基线相媲美。
驾驶舱界面设计对飞行员状况的影响...
有许多事故和事件与模式混淆有关。自动油门和自动驾驶仪传统上是驾驶舱中的独立系统，但它们可以通过飞行物理相互作用。航空电子工程师一直在应用自动化来减少飞行员的工作量并提高飞行安全性。虽然基本的自动化系统执行相当简单的任务，例如保持高度或航向，但现代飞行引导和控制系统通常具有不同的操作模式。结合眼动追踪和 NASA-TLX 测量，将新的飞行模式指示器 (FMA) 概念与传统 FMA 进行了比较。该实验涉及 17 名年龄在 22 至 47 岁之间的参与者（M = 29.18，SD = 6.73）。结果表明，增强显示显著降低了 NASA-TLX 对心理需求、时间需求和努力的感知工作量；同时通过呼叫模式变化的感知提高了爬升转弯期间的性能和情况意识。此外，参与者的注视持续时间在传统设计和通过添加绿色边框的视觉提示的增强设计之间对空速和高度指示器有显著差异。解释现有飞行模式提示需要付出相对较高的认知努力，这无疑是造成模式混淆的一个因素。注视持续时间和主观工作量之间的显著差异证明了所提出的可视化提示对 FMA 的潜在好处。作者：simp
模拟玻璃驾驶舱环境中眼球运动和疲劳的多模态分析
摘要：飞行员疲劳是与人为错误有关的航空事故的一个重要原因。如果可以利用飞行员的眼球运动测量来预测疲劳，那么与人有关的事故可能会减少。眼动追踪是一种非侵入式的可行方法，不需要飞行员暂停当前任务，并且设备不需要与飞行员直接接触。在本研究中，研究了心理运动警觉测试 (PVT) 测量（即反应时间、误报次数和失误次数）与眼球运动测量（即瞳孔大小、眼球注视次数、眼球注视持续时间、视觉熵）之间的正相关或负相关。然后，开发了疲劳预测模型，使用通过前向和后向逐步回归确定的眼球运动测量来预测疲劳。所提出的方法已在涉及新手和专家飞行员的模拟短途多阶段飞行任务中实施。结果表明，测量值之间的相关性因专业知识而异（即新手与专家）；因此，据此开发了两个预测模型。此外，回归结果表明，单个或部分眼球运动测量值可能足以预测疲劳。结果显示了使用非侵入式眼球运动作为疲劳预测指标的前景，并为我们更接近开发近乎实时的预警系统以防止重大事故奠定了基础。