XiaoMi-AI文件搜索系统
World File Search System凝视
具有无仪器凝视跟踪的教室数字孪生
课堂感知是一个重要且活跃的研究领域，具有巨大的教学改进潜力。作为专业观察员（当前最佳实践）的补充，自动化教学专业发展系统可以参加每节课并捕捉所有在场人员的细微细节。课堂注视行为是捕捉的一个特别有价值的方面。对于学生来说，某些注视模式已被证明与对材料的兴趣相关，而对于教师来说，以学生为中心的注视模式已被证明可以提高可接近性和即时性。不幸的是，之前的课堂注视传感系统的准确性有限，通常需要专门的外部或佩戴传感器。在这项工作中，我们开发了一种新的计算机视觉驱动系统，该系统为教室的 3D“数字孪生”提供支持，并实现全班 6DOF 头部注视矢量估计，而无需对任何在场人员进行测量。我们描述了我们的开源实现，以及受控研究和现实世界课堂部署的结果。
飞行员的自动凝视分类：使用多任务卷积网络作为飞行教练观察的代理
让飞行员在模拟器中与附近的教练一起进行模拟飞行任务。在评估这些飞行员的表现时，飞行教练依靠观察和事后评估。扫描模式是飞行教练背景的重要方面，是基本飞行的基础。例如，学生可能会扫描得太快、遗漏或注视 - 这些是扫描地平线和交叉检查仪器时常见的错误（美国空军 [USAF]，2019 年）。据传，飞行教练经常提到头部和眼球运动对于判断学生意图和态势感知至关重要。带有嵌入式眼动追踪的基于虚拟现实的训练环境可以自动化并为教练观察的某些方面提供更多背景信息，并可能加快学习过程。在这项研究中，我们评估了如何使用眼动追踪（结合机器学习）客观地评估飞行员在训练期间的扫描模式，这可能会减少教练的整体工作量。因此，两个关键的研究问题是：
刺激特征对凝视表现的影响......
恢复无法说话或移动的患者的沟通能力是解码脑电波以进行脑机接口 (BCI) 控制的主要目标之一。许多用于通信的 BCI 方法依赖于对视觉刺激的注意，通常采用一种奇怪的范式，并且需要眼球运动和足够的视力。然而，依赖 BCI 通信的患者可能缺乏这些能力。因此，我们开发了一种基于响应的通信 BCI，它独立于凝视转移，但利用注意力向左或右视野的隐性转移。我们从 29 个通道记录了脑电图 (EEG)，并联合记录了垂直和水平眼电图。使用 14 个后通道对半球之间基于注意力的细微差异（也称为 N2pc）进行数据驱动解码，这些后通道有望反映视觉空间注意力的相关性。 18 名健康参与者通过秘密地将注意力集中在两个彩色符号（绿叉和红叉分别代表“是”和“否”）之一上，同时保持视线集中在中央，从而对 120 条语句做出了回应。在所有参与者中，平均有 88.5%（标准差：7.8%）的回应被在线正确解码。为了研究刺激特征对准确性的潜在影响，我们通过改变符号大小和偏心率，以不同的视角呈现符号。离线分析显示，刺激特征对 BCI 的可控性影响微乎其微。因此，我们通过新方法表明，对彩色符号的空间注意是一种控制 BCI 的强大方法，它有可能支持眼球运动受损和视力低下的严重瘫痪患者与周围环境进行交流。
MIDAS触摸问题在眼睛凝视
左：眼睛跟踪器摄像机拾取用户的目光。右：使用目光来控制打字应用程序。已经提出了几种遏制MIDAS触摸问题的方法。一种方法是选择注视，但不能激活接口元素。一个典型的例子是使用自愿眨眼来确认基于目光的选择。，但这假定眼睛始终是自愿的。第二种方法是测量用户眼睛的总时间在接口元素中（“ dell Time”）（Jacob和Stellmach，2016年）。如果停留时间超过一定的阈值值，则该元素将被激活。选择阈值大于典型的眼固定持续时间。这种方法的问题是没有固定的固定时间表明用户的意图。第三种方法是具有凝视驱动的光标（“凝视鼠标”）并进行鼠标点击以确认选择（Kasprowski等，2016）。，但这不是免提解决方案。第四种方法是双重视线方法（Mohan等，2018），在这种情况下，用户凝视着他/她想要
比较头戴式显示器中凝视输入技术的选择机制
头部运动是 VR/AR 头戴设备的常见输入方式。然而，尽管它们使用户能够控制光标，但它们缺乏触发操作的集成方法。存在许多方法可以填补这一空白：专用的“点击器”、设备上的按钮、空中手势、停留、语音和基于将头部运动与视觉呈现的目标相匹配的新输入技术。这些提议多种多样，目前缺乏关于这些不同技术的性能、体验和偏好的实证数据。这妨碍了设计师选择合适的输入技术进行部署的能力。我们进行了两项研究来解决这个问题。一项 Fitts 定律研究比较了五种传统的选择技术，并得出结论：点击器（手动）和停留（免提）提供了精度、速度和物理负荷的最佳组合。一项后续研究将点击器和停留与运动匹配实现进行了比较。虽然点击器保持最快且停留最准确，但运动匹配可能在这两极之间提供有价值的折衷。
GIMIS：通过运动想象选择进行凝视输入
在 Fitts 定律实验中，开发了一种混合凝视和脑机接口 (BCI) 来完成目标选择。该方法 GIMIS 使用凝视输入来控制计算机光标以指向目标，并通过 BCI 使用运动意象 (MI) 执行点击以选择目标。一项实验 (n = 15) 比较了三种运动意象选择方法：仅使用左手、使用腿以及使用左手或腿。后一种选择方法（“任一”）具有最高的吞吐量（0.59 bps）、最快的选择时间（2650 毫秒）和 14.6% 的错误率。随着目标宽度的增加，瞳孔大小显著增加。我们建议使用大目标，这显著降低了错误率，并使用“任一”选项进行 BCI 选择，这显著提高了吞吐量。与停留时间选择相比，BCI 选择速度较慢，但如果凝视控制正在恶化，例如在 ALS 疾病的晚期阶段，GIMIS 可能是一种逐步引入 BCI 的方法。
无处不在的凝视感应与交互 - DROPS
本报告记录了为期三天的达格斯图尔研讨会 18252“无处不在的凝视感应和交互”的计划和成果。光学设备的小型化和计算机视觉的进步以及更低的成本点导致凝视感应功能在计算系统中的集成度增加。眼动追踪不再局限于控制良好的实验室环境，而是进入日常环境。因此，本次达格斯图尔研讨会汇集了计算机图形学、信号处理、可视化、人机交互、数据分析、模式分析和分类方面的专家，以及在不同学科中使用眼动追踪的研究人员：地理信息系统、医学、航空、心理学和神经科学，以探索未来的应用并确定可靠凝视感应技术的要求。这促进了对话，并允许：（1）计算科学家了解记录和解释凝视数据所面临的问题；（2）凝视研究人员考虑现代计算技术如何潜在地促进他们的研究。会议还讨论了有关凝视感应和交互的普遍部署的其他问题，例如在日常环境中部署凝视监测设备时的道德和隐私问题。
高分辨率凝视阵列响应紧凑型 MW 和 LW 应用
作为微电子领域的一个总体趋势，产品小型化越来越重要，并能带来成本和系统优势。顺应这一总体趋势，新型红外凝视阵列越来越紧凑，并能为不同的红外波段提供系统解决方案。在法国，HgCdTe（碲化汞镉/MCT）材料和工艺以及混合技术已达到更先进的水平，以提供这些新型凝视阵列。因此，对于中波（MW）应用，15µm 间距电视格式（640×512）HgCdTe 探测器（称为 Scorpio）配有 1/4-W 微型冷却器和小型化低温技术。这种优化的杜瓦瓶已扩展到 TV/4 格式，使用自 2000 年以来已大规模生产的成功的焦平面阵列。关于长波阵列，Sofradir 多年来一直提供 320×256 LW 探测器，其截止波长在 9 到 12 µm 之间调整，具体取决于所需的应用。基于这一经验，2004 年开发了两种新的 LW HgCdTe 产品，并从 2005 年初开始提供。依靠具有最新改进的标准 HgCdTe 生产工艺和优化的杜瓦瓶系列，现在推出了 Venus LW 探测器。这是一款分辨率更高的 25 µm 间距 384×288 LW IDDCA，配备 0.5 W 微型冷却器，截止波长在 9 到 10 µm 之间，工作温度在 77 K 到 85 K 之间，规格