人类的视觉-运动协调是运动控制的基本功能,需要多个大脑区域的相互作用。了解皮层-运动协调对于改善运动障碍的物理治疗具有重要意义。但其潜在的瞬态神经动力学仍然很大程度上未知。在本研究中,我们应用基于特征向量的动态网络分析方法来研究视觉-运动协调任务下从脑电图 (EEG) 信号计算的功能连接并识别其亚稳态动力学。我们首先在模拟网络上测试了这种信号处理以与其他动力学方法进行比较,表明基于特征向量的动态网络分析能够正确提取演化网络的动态特征。随后,将基于特征向量的分析应用于视觉-运动协调实验下收集的EEG数据。在对参与者的EEG研究中,拓扑分析和基于特征向量的动态分析的结果都能够区分视觉跟踪任务的不同实验条件。通过动态分析,我们表明,通过研究功能连接的亚稳态动态可以区分不同的视觉运动协调状态。
我们应对行人模拟中的内容多样性和收获性的挑战,以驱动方案。最近的行人动画框架具有重要的限制,其中他们主要关注轨迹[48]或参考视频[60]的内容,因此忽略了这种情况下人类运动的潜在多样性。这种限制限制了产生行人行为的能力,这些行为表现出更大的变化和现实动作,因此重新严格使用其用法,为驾驶模拟系统中的其他组件提供丰富的运动内容,例如,突然改变了自动驾驶汽车应响应的运动。在我们的方法中,我们努力通过展示从各种来源获得的各种人类动作(例如生成的人类运动)来超越限制,以遵循给定的轨迹。我们的框架的基本贡献在于将运动跟踪任务与轨迹结合到以下,这可以跟踪特定运动零件(例如上半身),同时遵循单个策略的给定轨迹。以这种方式,我们在给定情况下显着增强了模拟人类运动的分歧,以及内容的可控性,包括基于语言的控制。我们的框架有助于生成
摘要 — 与侵入式脑机接口 (BCI) 相比,非侵入式皮质神经接口在肢体运动及其力量的皮质解码方面仅取得了中等水平的表现。虽然非侵入式方法更安全、更便宜、更容易获得,但信号在空间域 (EEG) 或时间域 (功能性近红外光谱 (fNIRS) 的 BOLD 信号) 中分辨率较差。之前从未实现过双手力产生和连续力信号的非侵入式 BCI 解码,因此我们引入了一个等距握力跟踪任务来评估解码。我们发现,使用深度神经网络结合 EEG 和 fNIRS 比线性模型更能解码左手和右手产生的连续握力调节。我们的多模态深度学习解码器在力重建中实现了 55.2 FVAF[%],并且解码性能比每种单独的模态提高了至少 15%。我们的结果表明,使用非侵入性移动脑成像获得的皮质信号实现连续手力解码的方法对康复、恢复和消费者应用具有直接影响。
本文提出了一种用于柔性飞机同时进行轨迹跟踪和负载减轻的非线性控制架构。通过利用控制冗余,可以在不降低刚体指令跟踪性能的情况下减轻阵风和机动负载。所提出的控制架构包含四个级联控制环路:位置控制、飞行路径控制、姿态控制和最优多目标机翼控制。由于位置运动学不受模型不确定性的影响,因此采用非线性动态逆控制。相反,飞行路径动力学受到模型不确定性和大气扰动的干扰;因此采用增量滑模控制。基于 Lyapunov 的分析表明,该方法可以同时降低传统滑模控制方法的模型依赖性和最小可能增益。此外,姿态动力学为严格反馈形式;因此采用增量反步滑模控制。此外,还设计了一种新型负载参考生成器,用于区分执行机动所需的负载和过载负载。负载参考由内环最优机翼控制器实现,而过载负载由襟翼自然化,而不会影响外环跟踪性能。通过空间轨迹跟踪任务和阵风负载缓解任务验证了所提出的控制架构的优点
摘要 — 双边遥控操作为人形机器人提供了人类的规划智能,同时使人类能够感受到机器人的感受。它有可能将具有物理能力的人形机器人转变为动态智能的机器人。然而,由于涉及复杂的动力学,动态双边运动遥控操作仍然是一个挑战。这项工作介绍了我们通过身体倾斜的轮式人形机器人运动遥控概念应对这一挑战的初步步骤。具体来说,我们开发了一种具有力反馈能力的全身人机界面 (HMI),并设计了一个力反馈映射和两个遥控映射,将人体倾斜映射到机器人的速度或加速度。我们比较了这两种映射,并通过实验研究了力反馈的效果,其中七个人类受试者用 HMI 遥控一个模拟机器人执行动态目标跟踪任务。实验结果表明,所有受试者在练习后都完成了两种映射的任务,力反馈提高了他们的表现。然而,受试者表现出两种不同的远程操作风格,它们从力反馈中获益的方式也不同。此外,力反馈影响了受试者对远程操作映射的偏好,尽管大多数受试者在速度映射方面表现更好。
摘要。由于检测和跟踪任务之间的冲突,现有的基于视觉3D感知的端到端跟踪器遭受性能降解。在这项工作中,我们到达了这一骗局的底部,这隐约归因于以前不兼容的特定于任务的对象功能。我们发现这两个任务之间的冲突在于它们部分冲突的分类梯度,这源于它们在积极样本分配中的微妙差异。基于此观察者,我们建议在两个任务中与对象查询中的这些相互矛盾的梯度协调那些冲突的梯度。我们还根据两个任务中的极性动态将所有对象查询分为四组。掩盖了具有冲突的正分配的查询集之间的注意。修改跟踪分类损失以抑制不准确的预测。为此,我们提出了OnEtrack,这是第一个单阶段的接头检测和跟踪模型,该模型弥合了统一对象特征在代表下的检测和跟踪之间的差距。在基于Nuscenes摄像头的对象跟踪基准上,OnEtrack在有效集合上的效果超过6.9%的Amota,在测试集上的作品均优于AMOTA,AMOTA的作品比3.1%。
摘要 — 双边遥控操作为人形机器人提供了人类的规划智能,同时使人类能够感受到机器人的感受。它有可能将具有物理能力的人形机器人转变为动态智能的机器人。然而,由于涉及复杂的动力学,动态双边运动遥控操作仍然是一个挑战。这项工作介绍了我们通过身体倾斜的轮式人形机器人运动遥控概念应对这一挑战的初步步骤。具体来说,我们开发了一种具有力反馈能力的全身人机界面 (HMI),并设计了一个力反馈映射和两个遥控映射,将人体倾斜映射到机器人的速度或加速度。我们比较了这两种映射,并通过实验研究了力反馈的效果,其中七个人类受试者用 HMI 遥控一个模拟机器人执行动态目标跟踪任务。实验结果表明,所有受试者在练习后都完成了两种映射的任务,力反馈提高了他们的表现。然而,受试者表现出两种不同的远程操作风格,它们从力反馈中获益的方式也不同。此外,力反馈影响了受试者对远程操作映射的偏好,尽管大多数受试者在速度映射方面表现更好。
计算机视觉中视觉对象跟踪任务的进步使其在视频监控中的应用价值不断增长,特别是在交通场景中。近年来,人们非常关注多对象跟踪框架的改进,使其在保持准确性和通用性的同时实时有效。通过分解基于跟踪检测方法的多对象跟踪框架中涉及的任务(简单检测和识别对象的扩展),进一步涉及通过定义相似性函数来关联对象来解决过滤问题。因此,本文仅关注通过唯一定义的相似性函数和过滤器进行数据关联的任务,其中我们回顾了有关这些技术的当前文献,这些技术已用于提高车辆和行人场景的 MOT 性能。虽然仅在拟议的 MOT 框架内对关联任务的定量结果进行分类很困难,但我们的研究试图概述研究人员提出的基本思想,并以理论上的定性方法比较结果。跟踪方法按基于概率和分层方法等传统技术的类别进行审查,然后分析新方法和混合模型。对每个类别中确定的模型根据稳定性、准确性、稳健性、速度和计算复杂度等方面的性能进行进一步分析
摘要 - 可推广的感知是太空机器人技术中高级自治的支柱之一。估计动态环境中未知对象的结构和运动对于此类自主系统至关重要。传统上,解决方案依赖于目标对象的先验知识,多个不同的表示或不适合机器人操作的低保真输出。这项工作提出了一种新颖的方法,可以使用统一表示形式来逐步重建和跟踪动态未知对象 - 一组3D高斯斑点,描述了其几何形状和外观。可区分的3DGS框架适合以动态对象设置。管道的输入是一组顺序的RGB-D图像。3D重建和6-DOF姿势跟踪任务是使用基于一阶梯度的优化来解决的。该公式很简单,不需要预训练,不假定对对象或其运动的先验知识,并且适合在线应用程序。在任意相对运动下的10个未知航天器的数据集中验证了所提出的方法。实验表明,在短期到中持续时间内,目标对象的成功3D重建和准确的6-DOF跟踪。讨论了跟踪漂移的原因,并概述了潜在的解决方案。
本文提出了一种用于柔性飞机同时进行轨迹跟踪和载荷减轻的非线性控制结构。通过利用控制冗余,在不降低刚体指令跟踪性能的情况下减轻了阵风和机动载荷。所提出的控制结构包含四个级联控制环路:位置控制、飞行路径控制、姿态控制和最优多目标机翼控制。由于位置运动学不受模型不确定性的影响,因此采用非线性动态逆控制。相反,飞行路径动力学受到模型不确定性和大气扰动的干扰;因此采用增量滑模控制。基于 Lyapunov 的分析表明,该方法可以同时降低模型依赖性和传统滑模控制方法的最小可能增益。此外,姿态动力学为严格反馈形式,因此采用增量反步滑模控制。此外,设计了一种新型负载参考生成器,以区分执行机动所需的负载和过载负载。负载参考由内环最优机翼控制器实现,而过载负载由襟翼自然化,而不会影响外环跟踪性能。通过空间冯·卡门湍流场中的轨迹跟踪任务和阵风负载缓解任务验证了所提出的控制架构的优点。