近年来,许多研究都使用沉浸式虚拟现实(VR)来与真实环境尽可能地分析感知运动的协调(Bideau等,2010; Bideau et al。,2004; Ranganathan and Carlton and Carlton,2007; Vignais et; Vignais et al。,2009; Faure et al。,2020)。对VR的这种强烈兴趣创造了准确控制设备提供的信息,与环境的相互作用和任务的约束的可能性(例如Vignais等,2009; Choi等,2021)。在这种情况下,需要进行研究,以表征虚拟环境中可能的运动动作,这是在深度维度上恰当的(Armbrüster等,2008; Vienne等,2020)。为了解决这一目标,我们的研究团队已经开发了一项视觉运动跟踪任务,以操纵和评估不同虚拟约束对行动参与,尤其是在深度维度上的影响。跟踪任务的原理是移动效应器,以使其与移动目标保持尽可能近,可以通过互动
摘要:眼动界面是一种新兴技术,用户只需注视图形用户界面 (GUI) 即可控制它们。然而,使用凝视控制的 GUI 可能是一项艰巨的任务,会导致认知和身体负荷过重以及疲劳。为了应对这些挑战,我们提出了基于生物反馈的自适应人机辅助人机界面 (HA-HCI) 的概念和模型。该模型可以有效和可持续地使用由生理信号(例如凝视数据)控制的计算机 GUI。所提出的模型允许基于阻尼谐振子 (DHO) 模型在人机交互过程中进行分析性人类表现监测和评估。为了测试该模型的有效性,作者从 12 名玩凝视控制计算机游戏的健康志愿者那里获取了凝视跟踪数据,并使用奇偶统计分析对其进行了分析。实验结果表明,所提出的模型有效地描述和解释了注视跟踪性能动态,包括 GUI 控制任务性能的主体变化、长期疲劳和训练效果,以及基于注视跟踪的控制任务期间用户性能的短期恢复。我们还分析了现有的 HCI 和人类性能模型,并开发了现有生理模型的扩展,以开发自适应用户性能感知界面。所提出的 HA-HCI 模型从用户性能的角度描述了人与生理计算系统 (PCS) 之间的交互,结合了与 PCS 的标准 UI 组件交互的性能评估程序,并描述了系统应如何应对生产力 (性能) 的损失。我们通过设计眼控游戏进一步证明了 HA-HCI 模型的适用性。我们还开发了一个基于阻尼谐振的分析用户性能模型,该模型适用于描述基于注视跟踪的 PC 游戏性能的变化。使用奇偶分析测试了该模型的有效性,结果显示存在很强的正相关性。阻尼振荡模型建立的用户个人特征可用于根据玩家的游戏技能和能力对玩家进行分类。实验结果表明,玩家可以分为学习者(阻尼因子为负)和疲劳者(阻尼因子为正)。我们发现振幅和阻尼因子之间存在很强的正相关性,这表明良好的启动者通常疲劳率较高,而启动缓慢的疲劳率较低,甚至可能在比赛中提高其表现。提出的 HA-HCI 模型和分析用户性能模型为开发自适应的人性化 HCI 提供了一个框架,该框架能够监控、分析和提高使用基于生理计算的用户界面的用户的性能。所提出的模型在提高未来人类辅助凝视控制界面系统的可用性方面具有潜在的应用。
摘要:过去几十年来,错误相关电位 (ErrPs) 在非侵入式脑机接口 (BCI) 控制研究中的实用性已得到证实。然而,为了持续纠正 BCI 中末端执行器(例如机械臂)的错误动作,这些仅与离散错误感知相关的神经关联仍然存在问题。使用预先记录的数据集,在不同的正确或错误条件下提供 2D 跟踪任务的反馈,我们分析了是否可以从脑电图 (EEG) 中观察到连续反馈过程中的错误处理。在这个包含 30 个记录会话的数据集中,我们能够检测到正确条件和错误条件之间的显著差异。此外,报告了两种错误条件之间的最小显著差异,证实了错误和认知反应之间的直接联系。
摘要。传统的单对象跟踪任务正在经历新的转型浪潮,尤其是随着语义缺乏的出现,这导致了视觉跟踪任务的兴起。但是,将Vi-Sual Tracker与自然语言描述相结合的先前方法倾向于依靠文本描述的全局表示,而较少考虑文本描述和Vi-Sual外观之间的精细连接。本文提议利用双向交叉注意模块来捕获语言和视觉特征之间的连接,这些连接进一步投影为密集的语义反映以保持对齐方式。为了保持搜索区域与耦合的自然语言之间的语义同意,并使融合功能保持一致,本文提出了一种新颖的密集性对比度学习损失,以弥合文本和视觉方式之间的语义差距,并以密集的形式对齐。所提出的框架在跟踪包含自然语言描述的数据集(例如TNL2K和OTB99-LANG)方面实现了有希望的结果。我们的方法提供了一种新颖的解决方案,用于代表和对齐单个对象跟踪任务的跨模式信息,并可能激发该领域的进一步研究。
摘要 - 本文研究DDPG算法在轨迹跟踪任务中的应用,并提出了一种与FRENET坐标系相结合的轨迹跟踪控制方法。通过将车辆的位置和速度信息从笛卡尔坐标系转换为FRENET坐标系,该方法可以更准确地描述车辆的偏差和旅行距离,相对于道路的中心线。DDPG算法采用了参与者 - 批评框架,使用深层神经网络进行策略和价值评估,并将体验重播机制和目标网络结合在一起,以提高算法的稳定性和数据利用效率。实验结果表明,基于FRENET坐标系的DDPG算法在复杂环境中的轨迹跟踪任务中表现良好,可实现高精度和稳定的路径跟踪,并证明其在自主驾驶和智能运输系统中的应用潜力。
基于无人机的运动目标跟踪技术被广泛应用于自动巡检、应急处置等诸多领域。现有的运动目标跟踪方法通常存在计算量大、跟踪效率低的问题。受限于无人机平台的算力,基于无人机平台采集的视频数据对多目标进行实时跟踪分析是一项艰巨的任务。本文提出了一种针对无人机实时跟踪任务的带记忆的特定目标滤波跟踪(TSFMTrack)方法,该方法包括用于捕捉目标外观特征的轨迹滤波模块(TFM)和用于每帧边界框关联的轨迹匹配模块(TMM)。通过在流行的MOT和UAV跟踪数据集上与其他SOTA方法的实验比较,TSFMTrack在准确性、计算效率和可靠性方面表现出明显的优势。并且将TSFMTrack部署在类脑芯片Lynchip KA200上,实验结果证明了TSFMTrack在边缘计算平台上的有效性以及适合无人机实时跟踪任务。
摘要 - 这项工作提出了自主迭代运动学习(AI-mole),该方法使具有未知的非线性动力学系统可以自主学习解决参考跟踪任务。该方法迭代地将输入轨迹应用于未知动力学,基于实验数据训练高斯过程模型,并利用该模型更新输入轨迹,直到达到所需的跟踪效果为止。与现有方法不同,所提出的方法会自动确定必要的参数,即ai-mole Works插件播放,而无需手动参数调整。此外,AI-mole仅需要输入/输出信息,但也可以利用可用的状态信息来加速学习。通常仅在模拟或使用手动调谐参数的单个现实世界测试床上验证其他方法,但我们介绍了在三个不同的现实世界机器人上验证所提出的方法的前所未有的结果,总共九个不同的参考跟踪任务而无需任何先前的模型信息或手动参数调谐。在所有系统和任务上,AI摩尔迅速学习以跟踪参考文献,而无需任何手动参数调整,即使仅提供输入/输出信息。
Xin Zhao教授于2013年获得中国科学技术大学(USTC)的博士学位。 他的研究兴趣包括视频分析和性能评估,尤其是针对对象跟踪任务。 他发表了国际杂志和会议论文,例如IJCV,IEEE TPAMI,IEEE TIP,IEEE TCSVT,CVPR,ICCV,NEURIPS,NEURIPS,AAAI,IJCAI。 最近,他主要进行了有关人类计算机视力评估的研究。 他已经建立了几个广泛使用的计算机视觉基准(即,got-10k,videocube,sotverse,biodrone等))Xin Zhao教授于2013年获得中国科学技术大学(USTC)的博士学位。他的研究兴趣包括视频分析和性能评估,尤其是针对对象跟踪任务。他发表了国际杂志和会议论文,例如IJCV,IEEE TPAMI,IEEE TIP,IEEE TCSVT,CVPR,ICCV,NEURIPS,NEURIPS,AAAI,IJCAI。最近,他主要进行了有关人类计算机视力评估的研究。他已经建立了几个广泛使用的计算机视觉基准(即,got-10k,videocube,sotverse,biodrone等)使用在线评估平台。他定期担任以下会议和期刊的计划委员会成员或同行审稿人:CVPR,ICCV,ECCV,ICML,ICML,Neurips,ICLR,IJCV,IEEE TPAMI,IEEE TPAMI,IEEE TIP,IEEE TMM,IEEE TMM等
这项研究着重于开发和部署微控制器和AI加速器的小型AI模型,以在智能眼镜场景中进行眼睛跟踪任务。通过利用模型压缩,量化和轻型神经体系结构等技术,目的是创建有效的解决方案,以满足这些设备的严格计算和能量约束。该研究将优先考虑与嵌入式平台和加速器无缝集成的软件优化,从而实现实时性能。此外,该研究将纳入事件摄像机或神经形态视觉系统的使用,该系统在功率效率和高时间分辨率方面具有显着优势,使其非常适合在资源受限环境中进行眼睛跟踪应用。
摘要。我们介绍了Diff-Tracker,这是一种利用预先训练的文本到图像扩散模型的无监督视觉跟踪任务的新方法。我们的主要思想是利用预先训练的扩散模型中封装的丰富知识,例如对图像语义和结构信息的不明显,以解决无监督的视觉跟踪。为此,我们设计了一个初始提示学习者,以使扩散模型通过学习代表目标的提示来识别跟踪目标。此外,为了促进提示对目标动作的提示,我们提出了一个在线提示更新程序。在五个基准数据集上进行的大量实验证明了我们提出的方法的有效性,这也可以实现最先进的性能。