XiaoMi-AI文件搜索系统
World File Search SystemGaze
Kazuya TAKEDA，名古屋大学/TierIV
• 驾驶员识别（GMM） • 车辆跟驰行为建模（GMM） • 车道变换轨迹建模（HMM+GMM） • 驾驶员烦躁检测（贝叶斯网络） • 根据驾驶行为检测危险点 • 使用事件记录器评估驾驶员风险 • 驾驶诊断和反馈系统 • 驾驶数据检索系统 • 驾驶员注视和车辆操作建模（HMM） • 跟踪驾驶员观察到的路边标志 • 分析自动驾驶时的驾驶员注视行为 • 使用眨眼检测乘客焦虑（点过程） • 使用深度学习实现自动驾驶（CNN、RNN、AE、GAN、Transformer……）
构音障碍患者与智能虚拟助手的互动：可用性和用户偏好的比较研究
摘要：本研究探讨了构音障碍患者与智能虚拟助手 (SVA) 互动时使用的不同交互方法的有效性和用户体验。研究主要关注三种模式：通过 Alexa 发出直接语音命令、通过 Daria 系统发出非语言语音提示以及眼神控制。研究目的是评估每种方法的可用性、工作量和用户偏好，以满足构音障碍患者不同的沟通能力。虽然 Alexa 和 Daria 促进了基于语音的交互，但眼神控制为那些无法使用语音命令的人（包括患有严重构音障碍的用户）提供了一种替代方案。这种比较方法旨在确定每种交互方法的可用性如何变化，研究对象为八名患有构音障碍的参与者。结果表明，非语言语音交互，尤其是与 Daria 系统的交互，因其工作量较低且易于使用而受到青睐。眼神控制技术虽然可行，但在更高的工作量和可用性方面也存在挑战。这些发现强调了与 SVA 多样化交互方法的必要性，以适应患有构音障碍的个体的独特需求。
运动想象评估的眼动追踪信息的非线性分析
本研究调查了人类运动想象 (MI) 能力的评估。通常，MI 能力通过两种方法测量：自填问卷 (MIQ-3) 和心理计时 (MC)，后者测量实际和想象的运动任务之间的时间差异。然而，这两种测量都依赖于受试者的自我评估，而不使用生理测量。在本研究中，我们提出了一组从眼球注视信号的非线性动力学中提取的新特征，以区分好和坏的想象者。为此，我们设计了一个实验，让 20 名志愿者（根据 MC 分为好或坏的想象者）执行三项任务：运动任务 (MT)、视觉想象任务 (VI) 和运动想象任务 (KI)。在整个实验过程中，使用眼动追踪系统持续监测受试者的目光注视。通过对重建相空间进行递归量化分析来分析目光注视时间序列，并在两组之间进行比较。统计结果表明非线性眼球行为如何表达意象心理过程的内在动态，并可用作 MI 能力的更客观、基于生理的测量方法。
优化试点互助安排...
本研究的目的是首次尝试使用视频眼科测量为设计人员在飞机仪表板上安排飞行员指示器的决策提供定量分析和客观依据。迄今为止，此类决策仅基于设计人员积累的实践经验和主观专家评估。正在考虑一种优化仪表板指示器相互排列的新方法。这是基于对所选注意区域之间的注视转移概率矩阵的迭代校正，以尽量减少停留在这些区域中的相对注视频率的平稳分布与为合格飞行员分配的相应理想目标眼球运动之间的差异。在解决后续多维缩放问题时，获得的注视转移概率矩阵被视为相似性矩阵，其元素定量地表征了注意区域之间的接近度。这项新研究的主要发现如下：使用眼科数据来证明仪表板设计决策、优化方法本身及其数学组成部分，以及从量子表示的角度对所讨论的优化进行分析，都揭示了设计错误。通过重新排列与相应注意区域相关的显示区域，可以将获得的结果应用于飞机仪表板的原型变体。
评估视觉搜索熵和参与度如何预测多对象跟踪空中交通管制任务中的表现
摘要：用于评估视觉显示可用性的行为绩效指标越来越多地与眼动追踪测量相结合，以提供更多洞察视觉显示支持的决策过程。眼动追踪指标可以与用户的神经数据相结合，以研究人类认知在视觉空间任务期间如何与情绪相互作用。为了促进这些努力，我们展示了一项研究的结果，该研究在具有动画 ATC 显示器的真实空中交通管制 (ATC) 环境中进行，其中 ATC 专家和新手被呈现飞机运动检测任务。我们发现，较高的静止注视熵（表示显示器上视觉注视的空间分布较大）和专业知识可带来更好的响应准确性，并且即使在控制动画类型和专业知识后，静止熵也可以正向预测响应时间。作为次要贡献，我们发现由参与度（通过 EEG 和自我报告的判断、空间能力和注视熵测量）组成的单个成分可以预测任务准确性，但不能预测完成时间。我们还提供 MATLAB 开源代码，用于计算研究中使用的 EEG 测量值。我们的研究结果表明，设计空间信息显示器时，应根据用户的情感和认知状态调整其内容，尤其是在充满情感的使用环境中。
ASHA：通过人机协同强化学习实现辅助远程操作
摘要 — 构建用于通过任意、高维、嘈杂的输入（例如，网络摄像头的眼部注视图像）控制机器人的辅助界面可能具有挑战性，尤其是在没有自然的“默认”界面的情况下推断用户期望的操作时。通过在线用户对系统性能的反馈进行强化学习为这个问题提供了一个自然的解决方案，并使界面能够适应个人用户。然而，这种方法往往需要大量的人在环训练数据，尤其是在反馈稀疏的情况下。我们提出了一种从稀疏用户反馈中有效学习的分层解决方案：我们使用离线预训练来获取有用的高级机器人行为的潜在嵌入空间，这反过来又使系统能够专注于使用在线用户反馈来学习从用户输入到期望的高级行为的映射。关键见解是，使用预训练策略可使系统从稀疏奖励中学到比单纯的强化学习算法更多的知识：使用预训练策略，系统可以利用成功的任务执行来重新标记用户在未成功执行期间实际想要做的事情。我们主要通过一项用户研究来评估我们的方法，该研究有 12 名参与者，他们使用网络摄像头和他们的目光在三个模拟机器人操作领域执行任务：拨动电灯开关、打开架子门以接触里面的物体以及旋转阀门。结果表明，我们的方法在不到 10 分钟的在线训练中成功地学会了从稀疏奖励中将 128 维凝视特征映射到 7 维关节扭矩，并无缝帮助采用不同凝视策略的用户，同时适应网络摄像头输入、任务和环境的分布变化。
使用头部...
麦克风控制器。由于眼睛照明和环境照明在43个自然背景下不断变化，因此我们开发了一个分割的人工神经网络，以在这些条件下执行强大的学生44跟踪。利用这种创新的系统来研究主动视觉，我们45证明，尽管自由移动的摩尔群落表现出频繁的补偿性眼睛46个运动，等于其他灵长类动物，包括人类，但视觉47行为的可预测性（凝视）在动物相对于头部固定时相对自由地移动时的自由移动时，较高。48此外，尽管在运动过程中的眼睛/头部动作增加，但由于运动期间的VOR增益增加，凝视稳定仍然稳定49。这些结果证明了50个有效的，动态的视觉运动机制和相关行为，这些机制在灵长类动物探索52自然世界时，可以使稳定，高51个分辨率的脉动分辨率。53
舞者个性
语音融合 - 即，将自己的语音适应对话者的讲话 - 已显示出在人类人类的对话以及人机相互作用中发生的。在这里，我们调查了以下假设：人类对机器人的融合受人类对机器人的看法和对话主题的影响。我们进行了一个受试者内的实验，其中33名参与者与两个机器人相互作用，他们的眼睛凝视行为不同 - 一个不断地关注参与者。另一个产生了目光的厌恶，与人类的行为类似。此外，机器人提出的问题提高了亲密关系水平。我们观察到说话者倾向于在F0上汇聚到机器人。但是，这种与机器人的融合并不是说话者如何看待他们或主题的亲密关系。有趣的是，在谈论更亲密的话题时，扬声器产生了较低的F0。我们根据当前的对话融合理论讨论了这些发现。
基于EEG的眼动追踪技术又迈进了一步
在本文中，我们介绍了两种适应感兴趣区域的方法和算法。我们提出了一种新的深度神经网络 (DNN)，可用于使用 EEG 数据直接确定注视位置。基于 EEG 的眼动追踪是眼动追踪领域的一个新的、困难的研究课题，但它提供了一种基于图像的眼动追踪的替代方案，其输入数据集与传统图像处理相当。所提出的 DNN 利用 EEG 信号的空间依赖性，并使用类似于空间滤波的卷积，用于预处理 EEG 信号。通过这种方式，与最先进的技术相比，我们将从 EEG 信号进行的直接注视判断提高了 3.5 厘米 MAE（平均绝对误差），但不幸的是仍然没有实现直接适用的系统，因为与基于图像的眼动追踪器相比，不准确性仍然明显较高。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FEEGGaze&mode=list