XiaoMi-AI文件搜索系统
World File Search System眼球
MIDAS：从自然眼球运动模式深度学习预测人类行为意图
长期以来，眼球运动一直被研究作为了解人类大脑注意力机制的窗口，并作为新颖的人机界面提供。然而，并不是我们注视的所有东西都是我们想要与之互动的东西；这被称为凝视界面的点石成金问题。为了克服点石成金问题，目前的界面往往不依赖自然的凝视线索，而是使用停留时间或凝视手势。在这里，我们提出了一种完全由数据驱动的方法，用于仅基于自然凝视线索来解码人类对对象操作任务的意图。我们进行了数据收集实验，其中 16 名参与者被赋予操作和检查任务，这些任务将在他们面前的桌子上的各种物体上执行。受试者的眼球运动使用可穿戴眼球追踪器记录，允许参与者自由移动头部并注视场景。我们使用我们的 Semantic Fovea，一种卷积神经网络模型来获取场景中的物体及其与每一帧的凝视轨迹的关系。然后，我们评估数据并研究几种对意图预测的分类任务进行建模的方法。我们的评估表明，意图预测不是数据的简单结果，而是依赖于凝视线索的非线性时间处理。我们将该任务建模为时间序列分类问题，并设计双向长短期记忆 (LSTM) 网络架构来解码意图。我们的结果表明，我们可以仅从自然凝视线索和物体相对位置解码人类的运动意图，准确率为 91.9%。我们的工作证明了自然凝视作为人机交互的零 UI 界面的可行性，即用户只需自然地行动，而不需要与界面本身交互或偏离其自然的眼球运动模式。
眼球运动与心理功能
* Sven Ingmar Andersson，瑞典隆德大学和圣拉尔斯医院 * Paola Avanzini，意大利帕维亚大学 * B. Diane Barnette，美国马里兰州阿伯丁试验场人体工程学实验室 B. Biehl，德意志联邦共和国曼海姆大学 Waiter F. Bischof，瑞士伯尔尼大学 * Didier Bouis，德意志联邦共和国卡尔斯鲁厄弗劳恩霍夫研究所 Henk J. Breimer、Kath.荷兰蒂尔堡应用科学学院 * Francis Breitenbach，美国马里兰州阿伯丁试验场人体工程学实验室 * Angelo Buizza，意大利帕维亚大学 * Carlo Cabiati，意大利帕维亚大学 Amos S. Cohen，瑞士苏黎世联邦理工学院 * Peter Coles，瑞士日内瓦大学 * Trevor Crawford，英国杜伦大学 Reinhard Daugs，德意志联邦共和国柏林自由大学 Patrick Davous，法国巴黎圣安妮医院中心 Ernst G. De Langen，德意志联邦共和国慕尼黑大学 * Robert W. Ditchburn，英国雷丁大学 * J. Fassl，德国柏林科学学院 * John M. Findlay，英国杜伦大学 Hans-Uell Fisch，瑞士伯尔尼大学 Hardi Fischer，瑞士苏黎世联邦理工学院 * Dennis F. Fisher，英国人体工程学实验室阿伯丁试验场，医学博士，英国阿尔赛，弗洛雷斯，莱顿大学和马克斯普朗克研究所，荷兰奈梅亨 Peter Fries，瑞典隆德大学 * Alistair G. Gale，英国诺丁汉皇后医疗中心 * Niels Galley，德国科隆大学 * Marina Groner，瑞士伯尔尼大学和巴塞尔大学 * Rudolf Groner，瑞士伯尔尼大学 Annelles Heinisch，维尔茨堡大学，德意志联邦共和国 * Dieter Heller，拜罗伊特大学，德意志联邦共和国 Friederich W. Hesse，莱茵威斯特法伦工业大学亚琛分校，德意志联邦共和国 Rene Hirsig，瑞士联邦理工学院，瑞士苏黎世
真实和模拟驾驶和导航中的眼球运动...
几十年来，系统一直是研究的对象。数字时代日益复杂的情况使得系统与人类操作员之间的交互优化变得尤为必要。在本专题中，介绍了十篇典型文章，从观察性实地研究到高度复杂的导航模拟器中的实验工作。对于人类操作员来说，注意力过程起着至关重要的作用，这在本专题中列出的贡献中通过眼动追踪设备捕捉到了。
沉浸式虚拟现实和眼球追踪在清醒手术期间用于脑部映射：前瞻性评估研究
背景：目前，清醒脑外科手术期间的语言映射是一种标准程序。然而，对于对社交互动很重要的其他认知功能，如视觉空间认知和非语言，包括面部表情和眼神注视，很少进行映射。这种遗漏的主要原因是缺乏与手术室的限制性环境和清醒脑外科手术程序完全兼容的任务。目的：本研究旨在评估配备眼动追踪设备的虚拟现实耳机的可行性和安全性，该耳机能够为接受清醒开颅手术的患者提供身临其境的视觉空间和社交虚拟现实 (VR) 体验。方法：我们招募了 15 名语言和/或运动区域附近有脑肿瘤的患者。语言映射是通过命名任务 DO 80 进行的，该任务在计算机平板电脑上呈现，然后通过 VRH 以 2D 和 3D 形式呈现。患者还沉浸在视觉空间和社交 VR 体验中。结果：所有患者均未出现 VR 晕动症，但有 2 名患者在术中出现局灶性癫痫发作，但没有后果；没有理由将这些癫痫发作归因于虚拟现实耳机的使用。患者能够执行 VR 任务。眼动追踪功能正常，使医疗团队能够直接分析患者的注意力和对虚拟现实耳机视野的探索。结论：我们发现在清醒脑部手术期间让患者沉浸在交互式虚拟环境中是可能的，也是安全的，为新的基于 VR 的脑部映射程序铺平了道路。试验注册：ClinicalTrials.gov NCT03010943；https://clinicaltrials.gov/ct2/show/NCT03010943。
新型眼球运动康复计划的有效性......
1 引言眼球运动障碍对日常生活活动有重大影响，患者强烈渴望治愈。先前的研究发现，37% 的脑损伤患者会出现一定程度的眼球位移，36% 的病例有复视表现 ［1］。在急性期或恢复期康复病房工作的临床医生会遇到许多患有眼球运动障碍的患者。通常的治疗方法是监测他们的病程约 6 个月，同时研究用眼罩遮住一只眼、使用棱镜眼镜和补偿性头部位置变化的益处；如果此时没有明显改善，则考虑手术或其他干预措施 ［2］。干预性研究报告称，使用计算机编程练习基本眼球运动是有效的 ［3–8］，并且已被证明可以改善眼球运动范围和眼球平滑度
利用脑电波控制眼球的家用轮椅
尽其所能。在这种情况下，患者无法在工作场所或家中行走，甚至在最坏的情况下，手或腿可能会部分或完全瘫痪。因此，我们努力开发一种原型轮椅来克服所有这些问题。因为有各种技术可以控制电动轮椅，例如语音识别技术、EMG 信号技术。每种技术至少有一个缺点，即在语音识别和引导技术的情况下，它不适用于哑巴，也不适用于嘈杂的区域。在这项提议的工作中，我们使用大脑感觉和操纵杆来控制轮椅。该控制系统将根据用户的眨眼运动来驱动。在这种控制模式下，用户可以在导航到目标点的过程中自由地环顾周围环境。我们还结合了家庭自动化和警报系统来帮助患者。2.相关工作已经进行了多项研究，以分析轮椅上的人数以及将他们放在传统轮椅上的后果。通过促进独立行动，它通过减少对任何助手的依赖来培养自力更生的感觉。任何功能性行动困难的人都会遭受孤独感，因为他们减少参与各种社交活动，这会导致压力、孤立和对被忽视的恐惧。手动轮椅的设计方式为那些有身体障碍的人提供行动能力[2]。基本上，为了旋转轮椅，应该施加最少的能量来实现目标。为了减轻体弱患者的体力，许多
监测真实飞行条件下的眼球运动，用于飞行训练
眼动追踪是研究飞行员认知表现的相关技术。它为加强飞行员的训练和用于智能驾驶舱的在线监控提供了良好的前景。大多数研究都是在飞行模拟器中进行的，这可能会限制对眼动追踪数据的解释。在本研究中，我们调查了在真实飞行中测量眼球运动的可能性。我们进行了一项实验，让 7 名飞行员在一架真实的轻型飞机上执行两种交通模式和基本飞行动作。我们分析了在不同飞行阶段对主要感兴趣区域（飞行仪表）的注意力分布。这些数据与操作程序进行了对比，并就飞行安全和培训建议与飞行教练进行了讨论。此外，针对第一种交通模式进行训练的分类器可以预测第二种交通模式的三个阶段（起飞、顺风和着陆），平均准确率为 70%。
基于与任务环境相关的眼球运动的情境感知
摘要 近几十年来，情境意识这一主题一直受到人们的关注。冻结探测方法，例如情境意识全局评估技术 (SAGAT)，通常用于测量情境意识。本文旨在回顾 SAGAT 的有效性问题，并研究眼动是否是测量情境意识的有前途的替代方法。首先，我们概述了冻结探测方法的六个问题，例如冻结探测方法依赖于操作员能够记住然后明确回忆的内容。我们提出了一种基于人眼动与任务环境相关的情境意识操作化方法，以避免记忆中介和任务中断的不足。接下来，我们分析了实验数据，其中参与者 (N = 86) 被要求观察六个表盘的显示约 10 分钟，如果表盘指针超过阈值，则按下空格键。每隔 90 秒，屏幕就会变黑，参与者必须在纸上报告表盘的状态。我们评估了参与者的任务表现（检测到的阈值交叉百分比）与视觉采样分数（在阈值交叉期间瞥见的表盘百分比）和冻结探测分数的相关性。结果表明，视觉采样分数与阈值交叉水平（r = 0.31）和个人水平（r = 0.78）的任务表现相关。冻结探测分数较低，与任务表现的关联较弱。我们得出结论，SAGAT 概述的局限性阻碍了对情境意识的测量，情境意识可以通过与任务环境状态相关的眼球运动测量更有效地计算出来。目前的发现具有实用价值，因为眼动追踪摄像头和普适计算的进步减少了对 SAGAT 等中断性测试的需求。基于眼睛的情境意识是绩效的预测指标，其优势在于它可以通过实时反馈技术应用。
基于与任务环境相关的眼球运动的情境感知
摘要 近几十年来，情境意识这一主题一直受到人们的关注。冻结探测方法，例如情境意识全局评估技术 (SAGAT)，通常用于测量情境意识。本文旨在回顾 SAGAT 的有效性问题，并研究眼动是否是测量情境意识的有前途的替代方法。首先，我们概述了冻结探测方法的六个问题，例如冻结探测方法依赖于操作员能够记住然后明确回忆的内容。我们提出了一种基于人眼动与任务环境相关的情境意识操作化方法，以避免记忆中介和任务中断的不足。接下来，我们分析了实验数据，其中参与者 (N = 86) 被要求观察六个表盘的显示约 10 分钟，如果表盘指针超过阈值，则按下空格键。每隔 90 秒，屏幕就会变黑，参与者必须在纸上报告刻度盘的状态。我们评估了参与者的任务表现（检测到的阈值交叉百分比）与视觉采样分数（在阈值交叉期间瞥见的刻度盘百分比）和冻结探测分数的相关性。结果表明，视觉采样分数与阈值交叉水平（r = 0.31）和个人水平（r = 0.78）的任务表现相关。冻结探测分数较低，与任务表现的关联较弱。我们得出结论，SAGAT 概述的局限性阻碍了对情境意识的测量，情境意识可以通过与任务环境状态相关的眼球运动测量更有效地计算出来。目前的发现具有实用价值，因为眼动追踪摄像头和普适计算的进步减少了对 SAGAT 等中断性测试的需求。基于眼睛的情境意识是绩效的预测指标，其优势在于它可以通过实时反馈技术应用。