XiaoMi-AI文件搜索系统
World File Search System注视点
基于能量的自我中心视频中的无监督凝视预测
摘要：随着沉浸式计算设备的出现，自我中心感知迅速发展。人类注视预测是分析自我中心视频的一个重要问题，主要通过基于显着性的建模或高度监督的学习来解决。我们定量分析了监督深度学习模型在看不见的域外数据的自我中心注视预测任务中的泛化能力。我们发现它们的性能高度依赖于训练数据，并且仅限于训练注释中指定的域。在这项工作中，我们解决了在不使用任何训练数据的情况下联合预测人类注视点和自我中心视频时间分割的问题。我们引入了一个无监督的计算模型，该模型汲取了事件感知的认知心理学模型的灵感。我们使用 Grenander 的模式理论形式来表示时空特征，并将惊讶建模为预测注视点的机制。对两个公开数据集（GTEA 和 GTEA+ 数据集）的广泛评估表明，所提出的模型可以显著超越所有无监督基线和一些监督凝视预测基线。最后，我们表明该模型还可以对以自我为中心的视频进行时间分割，其性能可与更复杂、完全监督的深度学习基线相媲美。
伪相互注视可增强远程联合注意力任务中的脑间同步
图 4 凝视运动。 (a) 三种模式下参与者目光注视的示例。屏幕上显示 16 个字母数字字符，由 4×4 矩阵表示。每次试验在 16 个字符中有一个、三个或五个目标与声音呈现的单词相匹配。在单人模式下，屏幕上显示的红色圆圈表示参与者的注视点。在合作和竞争模式下，屏幕上两位参与者的注视点以红色和绿色圆圈区分。 (b) 单次试验中观察到的参与者扫描路径和注视热图的示例。虚线框在实验期间不可见，标记了目标的位置。请注意，观察者的注视点在实验期间不可见。 (c) 40 次试验的注视热图。 (d) 两位参与者眼动追踪热图之间的相似性。每个小提琴图（透明色）上都叠加了一个箱线图，显示了相似性度量的分布，包括单一、合作和竞争模式下的 Pearson's r、结构相似性指数度量 (SSIM) 和 Jaccard 相似性系数。黑色星号和线分别表示相似性的平均值和中位数。使用重复测量方差分析确定任务模式之间相似性的显著差异。
感觉和运动责任纠缠的影响
四肢瘫痪患者表示，恢复手臂和手部功能是恢复独立性最重要的因素之一。我们研究的总体目标是开发辅助技术，使四肢瘫痪患者能够控制功能性伸手动作。这项研究是朝着我们的总体目标迈出的第一步，它评估了在实验环境中使用眼球运动来控制效应器运动的可行性。我们旨在了解对眼睛施加的额外运动要求如何影响功能性伸手过程中的眼手协调。我们特别感兴趣的是，当眼睛的感觉和运动功能因额外的运动责任而纠缠在一起时，眼球注视误差会受到怎样的影响。我们记录了参与者在伸手去拿显示器上的目标时的眼球和手部运动。我们在参与者的注视点位置处显示一个光标，这可以被认为类似于对辅助机器人手臂的控制。为了测量眼球注视误差，我们使用离线过滤器从原始眼球运动数据中提取眼球注视。我们将注视点与显示器上显示的目标位置进行了比较。结果表明，人类不仅能够利用眼球运动将光标引导至所需位置（1.04 ± 0.15 厘米），而且误差与手的误差相似（0.84 ± 0.05 厘米）。换句话说，尽管在直接控制效应器的眼球运动时，眼睛承担了额外的运动责任，但协调功能性伸展运动的能力并未受到影响。这项研究的结果支持使用眼睛作为控制运动的直接命令输入的有效性。
用于 360° 图像的 3D Scanpath Transformer
2，λ ∈ [ − π，π ] 。然而，这两种表示360°图像中扫描路径的方法都存在不连续性的问题，比如纬度相同但经度不同的两个点λ = − 180 ◦和λ = 180 ◦，其实代表的是同一个位置，但在以上两个坐标系中，它们代表的是两个不同的位置，而且相距甚远。为了解决上述问题，我们在三维笛卡尔坐标系中表示注视点，其中每个位置都以p =（x，y，z）的形式给出。采用该三维坐标系，可以有效解决二维等距矩形投影中使用的坐标系的不连续性问题。此外，三个坐标系中的表示可以使用以下公式灵活地转换。
使用运动信息进行疲劳检测...
因此，结果表明，对于这种特殊情况下的绝大多数受试者来说，所选指标呈现出一个拐点，最低值位于任务的约 55％ 处。此外，研究结论是，随着任务时间的推移，扫视频率会降低，这可能与表现下降和认知负荷增加有关。这些也显示出峰值速度的增加，尽管在最后六分之一中行为是相反的，这表明与任务当时的疲劳状态有关。研究还发现，随着任务时间的增加，这些变化比注视点的变化更大，并且它们与外部代理也有直接关系。最后，尽管注视并不代表受试者的一般时间行为，但将这些信息与阅读文本时眼球运动的经典行为进行对比并不奇怪。
人类眼球追踪及相关问题：综述
摘要 - 眼动追踪是指追踪眼球运动并确定用户注视点的过程。本文旨在介绍用于眼动追踪的各种技术。测量眼球运动有许多原理，包括测量电信号和光电信号、跟踪眼球图像中的许多视觉特征、测量红外 (IR) 光的相对反射以及使用机械或光学杠杆或磁场。本文还包括选择特定眼动追踪方法所涉及的因素。最后，它介绍了眼动追踪技术的一些应用。索引术语 - 眼动追踪、眼电图 (EOG)、视频眼动图 (VOG)、红外眼动图 (IROG)、巩膜搜索线圈。
通过视觉神经辅助方法评估动态环境中的注意力监控水平
目的：本研究旨在通过视觉神经辅助方法建立一个框架，用于测量实时动画环境中人类操作员的各种注意力水平。背景：随着自动化和远程操作趋势的不断增长，了解动态环境中的人机交互可极大地帮助提高性能、提高操作效率和安全性。方法：对 20 名参与者进行了两项独立的 1 小时实验，记录了眼动追踪指标和脑电图 (EEG) 的神经活动。实验要求参与者在一组实验中表现出注意力集中的行为，在另一组中表现出注意力不集中的行为。还提取了两个片段（“增加的航班数量”和“相对恒定的航班数量”），以研究参与者相对于飞机数量的视觉行为差异。结果：对于这两项实验研究，注意力行为研究中的受试者的注视次数、注视持续时间、发现的飞机数量和着陆注视的发生率更高，而注意力不集中行为研究中的受试者的零注视帧数更高。在涉及“增加飞行次数”的实验中，与两组中“恒定飞行次数”的实验相比，发现的飞机百分比更高。新建立了三个参数（发现的飞机数量、着陆注视点和零注视点帧数）。由于雷达监控是一种大脑参与活动，因此所有参与者都记录了积极的脑电图数据。还制定了一个新任务参与指数 (TEI) 来预测不同的注意力水平。结论：结果提供了一种精细的量化工具，用于区分实时动态环境中的专注和不专注监控行为，可应用于各个领域。建议：建立定量 TEI 后，为未来研究按区域、基于时间的注意力水平以及与视觉任务参与和管理以及确定要探索的专业水平相关的眼部特征研究铺平了道路。还可以使用提出的 TEI 方法研究与疲劳有关的因素。
利用眼睛的新时代视觉检测技术...
摘要：眼动追踪是指跟踪眼球运动并确定用户注视点的过程。本文的目的是讨论用于眼动追踪的各种技术。测量眼球运动使用多种技术，包括测量电信号和光电信号、跟踪眼球图像中的不同视觉特征、测量红外 (IR) 光的相对成像以及使用机械或光学开关或磁场。本文还涉及与选择特定眼动追踪技术相关的因素。最后，它涉及眼动追踪系统的一些用途的重点。眼球追踪是计算机视觉领域中最具有挑战性的问题之一。本文的目的是介绍远程眼动追踪运动方面的最新研究成果。
人类眼球追踪及相关问题：综述
1 电子与通信工程系，DAV 工程技术学院，贾朗达尔（印度） 2 电子与通信工程系，Beant 工程技术学院，古尔达斯普尔（印度） 摘要 - 眼动追踪是指追踪眼球运动并确定用户注视点的过程。本文旨在介绍用于眼动追踪的各种技术。测量眼球运动有许多原理，包括测量电信号和光电信号、跟踪眼球图像中的许多视觉特征、测量红外 (IR) 光的相对反射以及使用机械或光学杠杆或磁场。本文还介绍了选择特定眼动追踪方法所涉及的因素。最后，本文介绍了眼动追踪技术的一些应用。索引词 - 眼动追踪、眼电图 (EOG)、视频眼动图 (VOG)、红外眼动图 (IROG)、巩膜搜索线圈。