XiaoMi-AI文件搜索系统
World File Search System凝视
![arxiv：2411.08606v1 [cs.cv] 2024年11月13日](/simg/g:\will\search\icon\source\c\c3702cd5b72088acd04a59528e6a3e5a8091e57a.webp)
arxiv：2411.08606v1 [cs.cv] 2024年11月13日
摘要。凝视估计模型概括的能力受到与凝视无关的各种因素的限制，尤其是当训练数据集受到限制时。当前的策略旨在通过不同的领域概括技术来应对这一挑战，但是由于仅依靠价值标签进行回归的风险，它们的成功有限。预训练的视觉模型的最新进展使我们促使我们利用可用的大量语义信息。我们提出了一种新颖的方法，将目光估计任务重新构架为视觉对准问题。我们所提出的框架，名为语言引导的凝视估计（LG DAIM），从富有的视觉模型的先前知识中学习了连续和几何敏感的特征，从而获得了凝视估计的益处。具体来说，LG凝视通过我们提出的多模式对比回归损失将视线特征与连续的linguistic特征相结合，该损失可定制不同负面样品的自适应重量。此外，为了更好地适应凝视估计任务的标签，我们提出了一种几何学意识到的插值方法，以获取更精确的凝视嵌入。通过广泛的实验，我们在四个不同的跨域评估任务中验证了框架的效果。
用于凝视跟踪任务期间用户表现和疲劳评估的人机自适应模型
摘要：眼动界面是一种新兴技术，用户只需注视图形用户界面 (GUI) 即可控制它们。然而，使用凝视控制的 GUI 可能是一项艰巨的任务，会导致认知和身体负荷过重以及疲劳。为了应对这些挑战，我们提出了基于生物反馈的自适应人机辅助人机界面 (HA-HCI) 的概念和模型。该模型可以有效和可持续地使用由生理信号（例如凝视数据）控制的计算机 GUI。所提出的模型允许基于阻尼谐振子 (DHO) 模型在人机交互过程中进行分析性人类表现监测和评估。为了测试该模型的有效性，作者从 12 名玩凝视控制计算机游戏的健康志愿者那里获取了凝视跟踪数据，并使用奇偶统计分析对其进行了分析。实验结果表明，所提出的模型有效地描述和解释了注视跟踪性能动态，包括 GUI 控制任务性能的主体变化、长期疲劳和训练效果，以及基于注视跟踪的控制任务期间用户性能的短期恢复。我们还分析了现有的 HCI 和人类性能模型，并开发了现有生理模型的扩展，以开发自适应用户性能感知界面。所提出的 HA-HCI 模型从用户性能的角度描述了人与生理计算系统 (PCS) 之间的交互，结合了与 PCS 的标准 UI 组件交互的性能评估程序，并描述了系统应如何应对生产力 (性能) 的损失。我们通过设计眼控游戏进一步证明了 HA-HCI 模型的适用性。我们还开发了一个基于阻尼谐振的分析用户性能模型，该模型适用于描述基于注视跟踪的 PC 游戏性能的变化。使用奇偶分析测试了该模型的有效性，结果显示存在很强的正相关性。阻尼振荡模型建立的用户个人特征可用于根据玩家的游戏技能和能力对玩家进行分类。实验结果表明，玩家可以分为学习者（阻尼因子为负）和疲劳者（阻尼因子为正）。我们发现振幅和阻尼因子之间存在很强的正相关性，这表明良好的启动者通常疲劳率较高，而启动缓慢的疲劳率较低，甚至可能在比赛中提高其表现。提出的 HA-HCI 模型和分析用户性能模型为开发自适应的人性化 HCI 提供了一个框架，该框架能够监控、分析和提高使用基于生理计算的用户界面的用户的性能。所提出的模型在提高未来人类辅助凝视控制界面系统的可用性方面具有潜在的应用。
凝视失败：调查人类目光以应对协作任务中的机器人失败
摘要 - 机器人很容易犯错，这可能会对他们在与人类用户的协作任务中的队友的信誉产生负面影响。从这些失败中检测和恢复对于维持用户的有效信任水平至关重要。但是，机器人可能会失败而不意识到它。检测这种失败的一种方法可能是分析人类的非语言行为和对失败的反应。这项研究调查了人类凝视动力学如何表明机器人的失败，并检查了不同类型的故障如何影响人们对机器人的看法。我们与27名参与者进行了一项用户研究，与机器人移动操纵器合作解决了Tangram难题。机器人被编程为经历两种类型的故障 - 执行和决策 - 在任务的开头或结束时发生，无论是否确认失败。我们的发现表明，机器人故障的类型和时机显着影响参与者的凝视行为和对机器人的感知。具体来说，执行故障导致了更多的目光转移并增加了对机器人的关注，而决策失败导致感兴趣领域的凝视过渡的熵较低，尤其是在任务结束时发生故障时。这些结果表明，凝视可以作为机器人故障及其类型的可靠指标，也可以用于预测适当的恢复动作。索引术语 - 动物失败，凝视动态，人机协作
MIDAS：从自然眼球运动模式深度学习预测人类行为意图
长期以来，眼球运动一直被研究作为了解人类大脑注意力机制的窗口，并作为新颖的人机界面提供。然而，并不是我们注视的所有东西都是我们想要与之互动的东西；这被称为凝视界面的点石成金问题。为了克服点石成金问题，目前的界面往往不依赖自然的凝视线索，而是使用停留时间或凝视手势。在这里，我们提出了一种完全由数据驱动的方法，用于仅基于自然凝视线索来解码人类对对象操作任务的意图。我们进行了数据收集实验，其中 16 名参与者被赋予操作和检查任务，这些任务将在他们面前的桌子上的各种物体上执行。受试者的眼球运动使用可穿戴眼球追踪器记录，允许参与者自由移动头部并注视场景。我们使用我们的 Semantic Fovea，一种卷积神经网络模型来获取场景中的物体及其与每一帧的凝视轨迹的关系。然后，我们评估数据并研究几种对意图预测的分类任务进行建模的方法。我们的评估表明，意图预测不是数据的简单结果，而是依赖于凝视线索的非线性时间处理。我们将该任务建模为时间序列分类问题，并设计双向长短期记忆 (LSTM) 网络架构来解码意图。我们的结果表明，我们可以仅从自然凝视线索和物体相对位置解码人类的运动意图，准确率为 91.9%。我们的工作证明了自然凝视作为人机交互的零 UI 界面的可行性，即用户只需自然地行动，而不需要与界面本身交互或偏离其自然的眼球运动模式。
飞行员的自动凝视分类：使用多任务卷积网络作为飞行教练观察的代理
让飞行员在模拟器中与附近的教练一起进行模拟飞行任务。在评估这些飞行员的表现时，飞行教练依靠观察和事后评估。扫描模式是飞行教练背景的重要方面，是基本飞行的基础。例如，学生可能会扫描得太快、遗漏或注视 - 这些是扫描地平线和交叉检查仪器时常见的错误（美国空军 [USAF]，2019 年）。据传，飞行教练经常提到头部和眼球运动对于判断学生意图和态势感知至关重要。带有嵌入式眼动追踪的基于虚拟现实的训练环境可以自动化并为教练观察的某些方面提供更多背景信息，并可能加快学习过程。在这项研究中，我们评估了如何使用眼动追踪（结合机器学习）客观地评估飞行员在训练期间的扫描模式，这可能会减少教练的整体工作量。因此，两个关键的研究问题是：
使用眼动追踪系统的平板电脑阅读障碍筛查应用程序的可靠性
目的：及早发现和管理阅读障碍对于防止不可逆转的教育差距和受影响学生的各种负面影响至关重要。然而，诊断阅读障碍具有挑战性，因为它需要全面的评估。利用快速、自动化、基于计算机的技术的阅读障碍筛查测试可用于及早识别和管理。在本文中，我们介绍了一种基于平板电脑的阅读障碍筛查应用程序，该应用程序使用眼动追踪系统并验证了其可靠性。方法：研究包括来自一所小学的 200 名年龄在 8 至 13 岁之间的参与者，他们都接受了两次阅读障碍筛查测试。筛查是使用在三星 Galaxy Tab S5e 平板电脑上实施的 VisualCamp SeeSo 眼动追踪 Android 软件开发工具包 v3.0.0 进行的。眼动追踪系统测量凝视阅读速度、平均凝视时间、凝视频率、扫视长度和回归率。为了评估两组测量的可靠性，我们采用了组内相关系数 (ICC)。结果：凝视频率 (ICC=0.83)、凝视平均时间 (ICC=0.82) 和凝视阅读速度 (ICC=0.76) 的测量结果具有极好的可靠性，回归比 (ICC=0.75) 和扫视长度 (ICC=0.72) 的测量结果具有良好的可靠性。结论：本研究表明，基于平板电脑的阅读障碍筛查应用程序可以可靠地测量阅读障碍患者的眼球运动。此外，该应用程序被证明具有高度可靠性，可能适合在临床或学校环境中使用，无需实验室环境和大量设备。
Feldmann.pdf
背景：神经发育障碍是患有复杂先天性心脏病（CHD）儿童中最普遍的非心脏长期后遗症。缺陷包括社会情感和社会认知领域。对婴儿第一年的冠心病患者的社会认知发展的前辈知之甚少。凝视跟随行为可用于衡量早期的社会认知能力。的目的：与健康对照相比，评估冠心病婴儿的目光的发育。研究设计：前瞻性队列研究。参与者：对CHD进行新生儿矫正和84个健康对照的二十三名婴儿。结果指标：通过在6个月和12个月的时间跟踪进行注视跟踪行为。在6个试验中计算了第一次固定，固定频率和针对目光对象的固定持续时间的差异得分，并在两个测试时间点之间进行了比较，同时调整已知的混杂因素。线性混合模型，以评估凝视跟踪开发的纵向轨迹，同时计算嵌套和依赖的数据结构。结果：在6个月时，发现CHD和健康对照之间的凝视跟踪行为没有差异。在12个月时，与对照组相比，凝视量的固定频率较低，看上去的持续时间短（p = 0.0077； p = 0.0068）。与对照组相比，患有CHD的婴儿在固定频率上显示出较小的固定频率（p = 0.041）的增加。结论：在生命的第一年，与健康对照组相比，冠心病婴儿的凝视发育分歧。需要进一步的研究来研究这些发现的临床相关性以及与后来的社会认知发展的社会关系。
在低成本眼动追踪装置中使用前庭眼反射自动检测瞳孔并估计凝视
摘要 — 自动眼动追踪对于与患有肌萎缩侧索硬化症的人互动、用眼睛控制电脑鼠标以及对葡萄膜黑色素瘤进行控制性放射治疗都具有重要意义。据推测，凝视估计的准确性可能通过使用前庭眼动反射来提高。这种不自主的反射会导致缓慢的补偿性眼动，与头部运动的方向相反。因此，我们假设在眼动追踪过程中让头部自由移动一定比保持头部固定、只让眼睛移动产生更准确的结果。本研究的目的是创建一个低成本的眼动追踪系统，通过保持头部自由移动，将前庭眼动反射纳入凝视估计中。所用的仪器包括一个低成本的头戴式网络摄像头，可记录一只眼睛。尽管用于记录的网络摄像头是低端的，并且没有直接照明，但瞳孔检测是完全自动和实时的，采用了简单的基于颜色和基于模型的混合算法。本研究测试了基于模型的算法和基于插值的算法。根据凝视估计结果中的平均绝对角度差，我们得出结论，基于模型的算法在头部不动时表现更好，而在头部移动时同样表现良好。当头部自由移动时，使用任一算法，凝视点与目标点的大多数偏差小于 1 ◦，可以得出结论，我们的设置完全符合文献中的 2 ◦ 基准，而头部不动时的偏差超过 2 ◦。所使用的算法之前未在被动照明下进行测试。这是首次研究考虑到前庭眼反射的低成本眼动追踪装置。
使用来自婴儿宇宙的中性氢的21 cm信号与低频空间干涉仪凝视到黑暗（年龄）
中位随访16年后的结果，有272名患者患有CVD。仅与兰花切除术相结合，顺铂联合化疗与CVD风险增加（危险比[HR]，1.9； 95％CI，1.1至3.1）。患者在诊断时肥胖或吸烟者（HR，4.6; 95％CI，2.0至10.0和HR，分别为1.7; 95％CI，1.1至2.4），开发了Raynaud的现象（HR，1.9; 95％CI，1.1至3.6）或dyslipidemia（1.1至3.6）或dyslipidemia（H. 95％ci; 95％ci o; 95％; 1.95％; 95％; 95％; 95％; 1. 1. 8％; 1.1.8; 95％； CVD（HR，2.9; 95％CI，1.7至4.9）的CVD风险更高。与未发展CVD的幸存者相比，具有CVD的TC幸存者在物理领域上报告了质量较低。接受了心血管危险因素的临床评估（评估年龄中位数：51岁），有86％的人患有血脂异常，有50％的人患有高血压，而35％的人患有代谢合伙，无论治疗均无关。
引用：Li，Jason，Watters，Nicholas，Sohn，Hansem和Jazayeri，Mehrdad。 2022。
从平稳地追求移动的物体到在视觉搜索过程中迅速转移凝视，人类在不同情况下采用各种眼动策略。虽然眼动为心理过程提供了丰富的窗口，但众所周知，构建眼动的生成模型是困难的，并且至今，指导眼动的计算观察者在很大程度上仍然是一个谜。在这项工作中，我们在典型的空间计划任务（迷宫解决方案）的背景下解决了这些问题。我们使用新颖的可区分结构来从人类受试者那里收集了眼睛运动，并建立了深层的眼动模型，以凝视固定和凝视。我们发现，人眼运动最好由一个模型预测，该模型被优化，不要尽可能有效地构成任务，而是对横穿迷宫的对象进行内部模拟。这不仅提供了此任务中眼动的生成模型，而且还为人类如何解决该任务的计算效果，即人类使用心理模拟。