XiaoMi-AI文件搜索系统
World File Search SystemGaze
对患有阅读障碍的程序员的程序代码阅读模式的线性顺序的观察
软件工程行业越来越意识到神经多样性工程师在劳动力队伍中的作用和价值。其中一个动机是将软件开发所需的技能与患有自闭症谱系障碍的个人的处理优势相结合。神经多样性的一个方面是阅读障碍，通常表现为个体的一系列阅读缺陷。在本文中，我们以最近的研究为基础，该研究试图调查患有阅读障碍的程序员阅读程序代码的方式是否与没有阅读障碍的程序员不同。该分析的特别重点是阅读代码时扫视运动的性质和线性模式。本文介绍了一项研究，其中使用眼动追踪设备记录了 28 名程序员（14 名患有阅读障碍，14 名没有阅读障碍）在阅读和理解三个屏幕上的 Java 程序时的目光注视。利用更广泛的阅读障碍文献中的见解，制定了假设来反映患有阅读障碍的程序员预期的扫视行为。一系列现有的程序阅读线性指标被调整并用于数据统计分析。结果与其他最近的研究一致，表明患有阅读障碍的程序员没有表现出与对照组明显不同的线性模式。非线性凝视约占所有扫视运动的 40%。根据现有数据，我们提出了一些初步见解，表明理解程序代码时的非线性阅读程度可能补充患有阅读障碍的程序员的处理和解决问题的风格。
更安全的驾驶体验的全自动视觉注意估计支持系统
抽象驾驶员的注意是安全驾驶和避免可能发生事故的关键要素。在本文中，我们提出了一种新的方法，可以解决驱动程序中视觉注意力估计的任务。我们引入的模型由两个分支组成，一个分支执行凝视点检测以确定驾驶员的确切焦点，另一个执行对象检测以识别道路上的所有相关元素（例如车辆，行人和交通标志）。两个分支的两个输出的组合使我们能够确定驾驶员是否专注，并最终确定他们集中的道路元素。测试了两个模型的目光检测任务：GAZECNN模型和由CNN+变压器组成的模型。对两种模型的性能进行了评估，并将其与其他最先进的模型进行比较，以选择最佳的任务方法。最后，报告并分析了DGAZE数据集上3761对图像（驱动程序视图和相应的道路视图）进行的视觉注意估计结果。
迈向多模式BCI：外围控制对运动皮层活动和代理意识的影响
摘要 - 近年来，使用运动图像的大脑计算机界面（BCI）显示出一些局限性在控制质量方面。为了改善这项有前途的技术，一些研究旨在与其他技术（例如眼睛跟踪）开发混合BCI，这些技术显示出更可靠的可靠性。但是，在机器人控制中使用眼动仪可能会自身影响机构感（SOA）（SOA）和用于运动图像（MI）区域的大脑活动。在这里，我们探讨了代理意识与运动皮层活动之间的联系。为此，我们使用了投影在表面上的虚拟臂，该虚拟手臂由运动捕获控制或使用眼迹器凝视控制。我们发现，在凝视控制任务期间，电动机皮层有一项活动，并且对预计的机器人臂的控制会带来显着差异，这与观察机器人移动的情况有很大的差异。
揭示自闭症中社会互动视觉探索的发展动态
在患有自闭症谱系障碍（ASD）的幼儿中，社会目光的摘要非典型部署存在。然而，表征其背后发展动态的研究很少。在这里，我们使用了一种数据驱动的方法来描述自闭症儿童年代社交互动视觉探索的发展变化。作为ASD儿童及其通常开发的（TD）同伴的孩子，纵向眼球的数据是自由探索了一部简短的卡通电影。我们发现与TD同龄人相比，ASD儿童的瞬间凝视模式不同。这种差异在表现出角色之间的社交互动以及在发育和功能较低的儿童中的序列中尤为明显。动画场景的基本视觉属性并未解释增强的差异。在儿童年中，这些差异急剧增加，变得更加特质。这些发现表明，应在临床治疗中对社会关注进行针对性。
I-AI：一种可控制、可解释的人工智能系统，用于解读放射科医生对准确 CXR 诊断的高度关注
摘要 在胸部 X 光 (CXR) 诊断领域，现有研究通常仅侧重于确定放射科医生的注视点，通常是通过检测、分割或分类等任务。然而，这些方法通常被设计为黑盒模型，缺乏可解释性。在本文中，我们介绍了可解释人工智能 (I-AI)，这是一种新颖的统一可控可解释流程，用于解码放射科医生在 CXR 诊断中的高度关注度。我们的 I-AI 解决了三个关键问题：放射科医生注视的位置、他们在特定区域关注的时间以及他们诊断出的发现。通过捕捉放射科医生凝视的强度，我们提供了一个统一的解决方案，可深入了解放射学解释背后的认知过程。与当前依赖黑盒机器学习模型的方法不同，这些方法在诊断过程中很容易从整个输入图像中提取错误信息，而我们通过有效地屏蔽不相关的信息来解决这个问题。我们提出的 I-AI 利用视觉语言模型，可以精确控制解释过程，同时确保排除不相关的特征。为了训练我们的 I-AI 模型，我们利用眼球注视数据集来提取解剖注视信息并生成地面真实热图。通过大量实验，我们证明了我们方法的有效性。我们展示了旨在模仿放射科医生注意力的注意力热图，它编码了充分和相关的信息，仅使用 CXR 的一部分即可实现准确的分类任务。代码、检查点和数据位于 https://github.com/UARK-AICV/IAI。1. 简介
神经影像学
由于预计会产生伪影和噪声，因此在 EEG 实验中通常会避免自由凝视和移动图像。然而，对于越来越多的研究问题来说，放宽这些严格的限制将是有益的。其中包括对视觉审美体验的研究，这通常涉及对高度可变的刺激进行开放式探索。在这里，我们系统地比较了保守与更自由的实验设置对审美评级任务中各种行为、大脑活动和生理指标的影响。我们的主要目的是评估 EEG 信号质量。43 名参与者要么保持注视，要么被允许自由凝视，并观看静态图像或由舞蹈表演或自然场景组成的动态（视频）刺激。添加了被动听觉背景任务（听觉稳态响应；ASSR）作为整体 EEG 记录质量的代理指标。我们记录了 EEG、ECG 和眼动追踪数据，参与者在每次试验中对他们的审美偏好和无聊状态进行评分。尽管行为评分和凝视行为都受到任务和刺激操纵的影响，但 EEG SNR 几乎不受影响，并且在所有条件下通常都很稳定，尽管只有最低限度的预处理并且没有试验拒绝。特别是，我们表明使用视频刺激不一定会导致 EEG 质量降低，相反，它可以显著减少眼球运动，同时增加参与者的审美反应和一般任务参与度。我们认为这些结果是令人鼓舞的，表明——至少在实验室中——可以采用更自由的实验条件，而不会显著降低信号质量。
Interead：中断阅读的眼睛跟踪数据集
阅读过程中抽象的眼动动作提供了一个了解认知过程和语言理解的窗口，但是缺少中断数据的稀缺性 - 学习者在日常学习环境中经常遇到这些数据 - 妨碍了智能学习技术发展的进步。我们介绍了Interead - 一种新颖的50个参与者数据集的目光数据集，该数据集在对现实世界文本的自定进度读取过程中记录。Interead进一步提供了整个文本中散布的中断的细粒度注释以及这些中断产生的恢复滞后。中断。我们通过报告有关凝视行为的不同度量的跨学科分析来验证我们的数据集。与先前的研究一致，我们的分析表明，中断以及单词长度和单词频率效应会显着影响阅读过程中的眼睛运动。我们还探索了数据集中的个体差异，从而阐明了量身定制的教育解决方案的潜力。可以从我们的数据集访问网页：https：//www.ife.uni-stuttgart.de/en/llis/research/datasets/。
检测驾驶舱任务？- PLOS
本研究的目的是检查在复杂的错误检测驾驶舱任务中专业知识、表现和注视行为之间的关系。24 名飞行员和 26 名非飞行员从飞行员的角度观看视频剪辑，并被要求检测驾驶舱仪表板中的故障。与非飞行员相比，飞行员检测到更多故障仪器，在仪器上的停留时间更短，进行了更多转换，更频繁地访问与任务相关的区域，并且在仪器之间的区域停留更长时间。这些结果为解释专家表现的潜在过程的三种理论提供了证据：长期工作记忆理论、信息减少假设和图像感知的整体模型。此外，一般注意力技能的结果表明，与非飞行员相比，飞行员在全局和局部信息处理之间切换的能力更强。综上所述，结果表明，凝视行为以及其他通用技能可能提供有关潜在过程的重要信息，可以解释专业飞行员在飞行过程中的成功表现。
引用：Li，Jason，Watters，Nicholas，Sohn，Hansem和Jazayeri，Mehrdad。 2022。
从平稳地追求移动的物体到在视觉搜索过程中迅速转移凝视，人类在不同情况下采用各种眼动策略。虽然眼动为心理过程提供了丰富的窗口，但众所周知，构建眼动的生成模型是困难的，并且至今，指导眼动的计算观察者在很大程度上仍然是一个谜。在这项工作中，我们在典型的空间计划任务（迷宫解决方案）的背景下解决了这些问题。我们使用新颖的可区分结构来从人类受试者那里收集了眼睛运动，并建立了深层的眼动模型，以凝视固定和凝视。我们发现，人眼运动最好由一个模型预测，该模型被优化，不要尽可能有效地构成任务，而是对横穿迷宫的对象进行内部模拟。这不仅提供了此任务中眼动的生成模型，而且还为人类如何解决该任务的计算效果，即人类使用心理模拟。