视觉引导

1900年1月1日机构名称:

视觉引导手指运动时的大脑激活

通过视觉引导手部动作进行的计算机交互通常采用抽象的基于光标的反馈或不同程度真实感的虚拟手 (VH) 表示。目前尚不清楚在虚拟现实环境中更改这种视觉反馈的效果。在这项研究中，19 名健康的右撇子成年人使用四种不同类型的视觉反馈执行食指运动（“动作”）和观察运动（“观察”）：简单的圆形光标 (CU)、指示手指关节位置的点光 (PL) 图案、阴影卡通手 (SH) 和逼真的 VH。使用数据手套记录手指运动，并以光学方式记录眼动追踪。我们使用功能性磁共振成像 (fMRI) 测量大脑活动。与基线相比，动作和观察条件均显示枕颞皮质中的 fMRI 信号响应更强。动作条件还会引起运动、体感、顶叶和小脑区域的双侧激活增加。对于这两种情况，带有移动手指的手部反馈（SH、VH）比 CU 或 PL 反馈导致更高的激活，特别是在早期视觉区域和枕颞皮质中。我们的结果表明，与视觉不完整的手部和抽象反馈相比，在视觉引导的手指运动过程中，皮质区域网络的募集更强。这些信息可能对研究和应用或训练相关范例中涉及人体部位的视觉引导任务的设计产生影响。

查看详细

File

1900年1月1日机构名称:

高质量的视觉引导的声音与不同类别的分离

摘要。我们提出了戴维斯（Davis），这是一个基于i fifusion的udiovi sual separa the the trapion框架，该框架通过生成学习解决了视听声音源分离任务。现有方法通常将声音隔离作为基于面具的回归问题，从而取得了重大进展。但是，他们在捕获高质量分离声音与各种表情所需的复杂数据分布时面临局限性。相比之下，戴维斯利用生成扩散模型和分离U-net直接从高斯噪声中综合了分离的声音，并在音频混合物和视觉信息上进行条件。具有其生成性目标，戴维斯更适合实现各种声音猫的高质量分离的目标。我们将戴维斯与AVE和音乐数据集上现有的最新歧视性音频分离方法进行了比较，结果表明，戴维斯在分离质量方面胜过其他方法，这证明了我们可以解决视听源分离任务的框架的优势。我们的项目页面可在此处提供：https：//wikichao.github.io/data/projects/davis/。

查看详细

深层视觉引导和深层增强学习算法，用于用于功率分配的多人孔组装任务，实时运行robo

File

2024年7月16日机构名称:

深层视觉引导和深层增强学习算法，用于用于功率分配的多人孔组装任务，实时运行robo

摘要功率分销网络的检查和维护对于有效地向消费者提供电力至关重要。由于电源分配网络线的高电压，手动现场直线操作很难，有风险和不足。本文研究了一个具有自主工具组装功能的功率分配网络实时运营机器人（PDLOR），以替代各种高风险电气维护任务中的人。为了应对PDLOR的动态和非结构化工作环境中工具组装的挑战，我们提出了一个框架，该框架包括深层视觉引导的粗糙本地化以及先验知识以及模糊逻辑驱动的深层确定性策略梯度（PKFD-DPG）高级装配算法。首先，我们提出了基于Yolov5的多尺度识别和本地化网络，该网络使PEG-HOLE可以快速接近并减少无效的探索。第二，我们设计了一个主要的合并奖励系统，其中主线奖励使用事后的经验重播机制，而辅助奖励基于模糊的逻辑推理机制，解决了学习过程中无效的探索和稀疏奖励。此外，我们通过模拟和物理实验来验证提出算法的有效性和优势，并将其性能与其他组装算法进行比较。实验结果表明，对于单芯组装任务，PKFD-DPG的成功率比具有功能的奖励功能的DDPG高15.2％，比PD力控制方法高51.7％。对于多工具组装任务，PKFD-DPG方法的成功率比其他方法高17％和53.4％。

查看详细

File

2024年5月29日机构名称:

计算机视觉引导开源有源换向器，用于自由行为动物的神经成像

。CC-BY-NC-ND 4.0 国际许可，根据未经同行评审认证）是作者/资助者，他已授予 bioRxiv 永久展示预印本的许可。它是预印本的版权持有者（此版本于 2024 年 6 月 1 日发布。 ; https://doi.org/10.1101/2024.05.28.596351 doi：bioRxiv 预印本

查看详细

File

2024年5月3日机构名称:

视觉引导的跟踪和无人机的紧急登陆

摘要：本文提出了一种基于视觉的自适应跟踪和降落方法，用于多轨无人机（UAV），该方法旨在在推进系统故障的情况下进行安全恢复，从而降低了可操作性和响应能力。该方法解决了外部干扰（例如风力和敏捷目标运动）所带来的挑战，特别是考虑了由推进系统故障引起的可操作性和控制限制。在我们先前在执行器故障检测和耐受性方面的研究中，我们的方法采用了修改的自适应纯追求指导技术，并具有额外的适应性参数来说明可操作性的降低，从而确保对移动物体的安全跟踪。此外，我们提出了一种自适应着陆策略，该策略适应跟踪偏差并最大程度地减少偏离靶向降落，这是由于横向跟踪误差和延迟响应引起的，并使用侧向偏置依赖依赖于偏置的垂直速度控制。我们的系统采用基于视觉的标签检测来确定与无人机相关的无人接地车辆（UGV）的位置。我们在中期紧急着陆情况下实施了该系统，其中包括对紧急降落的执行者健康监测。广泛的测试和模拟证明了我们方法的有效性，大大推动了由于执行器故障而导致具有受损控制权的无人机的安全跟踪和紧急登陆方法的发展。

查看详细

File

2020年3月7日机构名称:

接触式触觉显示中空间差异问题的视觉引导

摘要 — 在虚拟环境中，视觉和触觉场景之间的空间差异会对用户的表现和体验产生负面影响。本文展示了在具有接触式触觉显示器的触觉增强虚拟系统中，由于姿势差异而导致的空间差异是如何发生的。为了缓解这个问题，我们提出了视觉引导，这是一种动态操纵视觉场景以补偿差异的算法。在涉及按钮按下任务和±150 mm 和±40 ◦ 之间的空间差异的一对研究中验证了该算法的有效性。实验结果表明，使用该技术的差异试验产生的错误率和速度峰值数量（代表目标运动的数量）与零空间差异试验中达到的相当。此结果也是在无需专门的适应或训练过程的情况下实现的，从而确保用户可以立即使用该算法。一对后续研究还表明，该算法对模拟器晕动症的主观评分影响不大，这表明偶尔使用该算法不会对用户对虚拟环境的体验产生负面影响。我们相信，本文提出的视觉引导算法可用于在结合遭遇式触觉显示的各种触觉训练应用中创造更有用、更引人注目的体验。

查看详细