根据给定序列预测人体运动是计算机视觉和机器学习中一项具有挑战性且至关重要的任务,它使机器能够有效地理解人类行为。精确预测人体姿势和运动轨迹对于各种应用都具有重要意义,包括自动驾驶、机器人技术和虚拟现实。本文提出了一种新方法来解决估计以 3D 姿势或 2D 轨迹表示的人体运动,以及使用 2D 图像和人体姿势/位置序列联合预测未来运动的相互关联的任务。我们提出了一种编码器-解码器架构,该架构利用具有自注意机制的 Transformer 网络,利用视觉上下文特征,结合 LSTM 来建模人体运动运动学。我们的方法在数量和质量上都比现有方法表现出持续显著的改进。在各种公共数据集上进行的大量实验,例如用于 3D 人体姿势估计的 GTA-IM 和 PROX,以及用于 2D 轨迹预测的 ETH 和 UCY 组合数据集,表明与当前最先进的方法相比,我们的方法大大减少了预测误差。
摘要: - 手语动作的解释对于改善聋人和听力障碍者的交流可访问性至关重要。本研究提出了一个全面的计算框架,用于特征提取和长期记忆(LSTM)网络,以捕获跨手势序列的时间动态。CNN体系结构用于评估视觉输入,成功地识别和分类了对正确手势解释至关重要的手动形状,面部表情和身体姿势。通过添加LSTM,我们的方法有效地复制了手语的顺序性质,从而识别了先前运动影响的连续手势。我们使用众多创新策略来处理手语检测问题,例如签名样式,周围噪声以及实时处理的需求。多模式数据融合包含视觉,上下文和语言信息,以提高模型鲁棒性。旋转,缩放和时间变化被用作数据增强程序,以增加训练数据集并提高各种签名设置的模型适用性。混合CNN-LSTM体系结构通过超级参数调整,辍学正则化和批准化来增强,以减少过度拟合,同时保持出色。
由于运载火箭的性能与其飞行控制系统密切相关,因此航天飞行中的一个重大挑战是设计姿态控制算法,以确保运载火箭的稳定性,同时遵循确定的轨迹并抑制外界干扰。本报告旨在描述设计这种控制算法并最终评估其性能的通用方法。首先,回顾了现有的姿态控制方法并介绍了线性控制理论。然后介绍影响运载火箭的重要现象,包括刚体动力学、空气动力学、发动机惯性、下垂模式和弯曲模式。然后,使用给定的案例研究作为示例来估计描述所有这些现象的参数。然后推导线性运动方程,并提出构建车辆及其执行器的状态表示的方法。基于该线性模型,本文描述了一种逐步方法来计算用于处理所有相关现象的稳定 PID 控制器。最后,进行包括稳定性、时间响应、灵敏度和鲁棒性在内的性能分析,以评估控制器行为。
在边缘部署人工智能 (AI) 和计算机视觉 (CV) 算法的挑战性推动了嵌入式计算社区研究异构片上系统 (SoC)。这种新型计算平台提供了接口、处理器和存储的多样性,然而,AI/CV 工作负载的有效分区和映射仍然是一个悬而未决的问题。在此背景下,本文在英特尔的 Movidius Myriad X 上开发了一个混合 AI/CV 系统,这是一个异构视觉处理单元 (VPU),用于初始化和跟踪卫星在太空任务中的姿态。航天工业是研究替代计算平台以遵守机载数据处理的严格限制的社区之一,同时也在努力采用 AI 领域的功能。在算法层面,我们依靠基于 ResNet-50 的 UrsoNet 网络以及自定义经典 CV 管道。为了实现高效加速,我们结合多种并行化和低级优化技术,利用 SoC 的神经计算引擎和 16 个矢量处理器。所提出的单芯片、稳健估计和实时解决方案在 2W 的有限功率范围内为 100 万像素 RGB 图像提供高达 5 FPS 的吞吐量。
在太空着陆操作期间,准确估计航天器的相对姿态对于确保安全成功着陆至关重要。本文提出了一种基于 3D 光检测和测距 (LiDAR) 的 AI 相对导航架构解决方案,用于自主太空着陆。所提出的架构基于混合深度循环卷积神经网络 (DR-CNN),将卷积神经网络 (CNN) 与基于长短期记忆 (LSTM) 网络的循环神经网络 (RNN) 相结合。获取的 3D LiDAR 数据被转换为多投影图像,并将深度和其他多投影图像输入 DRCNN。该架构的 CNN 模块可以有效地表示特征,而 RNN 模块作为 LSTM,可提供鲁棒的导航运动估计。我们考虑、模拟和实验了各种着陆场景,以评估所提出架构的效率。首先使用 PANGU(行星和小行星自然场景生成实用程序)软件创建基于 LiDAR 的图像数据(范围、坡度和海拔),然后使用这些数据对所提出的解决方案进行评估。建议使用 Gazebo 软件中的仪表化空中机器人进行测试,以模拟在合成但具有代表性的月球地形(3D 数字高程模型)上着陆的场景。最后,使用配备 Velodyne VLP16 3D LiDAR 传感器的真实飞行无人机进行真实实验,以在设计的缩小版月球着陆表面上着陆时生成真实的 3D 场景点云。所有获得的测试结果表明,所提出的架构能够通过良好合理的计算提供良好的 6 自由度 (DoF) 姿势精度。
现在,自主系统的增加要求这些系统能够在其环境中与其他物体近距离工作,并且需要在环境物体上完成许多任务,例如装配、运输、会合、对接或避开它们,如碰撞检测/避免、路径规划等。在这篇文献综述中,我们讨论了基于机器学习的算法,这些算法解决了基于视觉的自主系统的第一步,即基于视觉的姿势估计。本文对使用 2D 和 3D 输入数据的 6D 姿势估计的进展进行了批判性回顾,并比较了它们如何应对基于计算机视觉的定位问题所面临的挑战。我们还研究了算法及其在太空任务中的应用,如在轨对接、会合和空间视觉应用带来的挑战。在综述的最后,我们还强调了一些小问题和未来研究的可能途径。
简介:慢性脚踝不稳定性(CAI)是一种肌肉骨骼状况,它是从急性踝关节扭伤中演变而来的,其潜在机制尚未达成共识。越来越多的证据表明,踝关节损伤后大脑的神经塑性变化在CAI的发展中起关键作用。平衡缺陷是与CAI相关的重要危险因素,但是关于与受影响个体平衡控制有关的感觉运动皮质可塑性的证据很少。本研究旨在评估单腿姿态期间CAI和未受伤个体患者之间的皮质活性和平衡能力的差异,以及这些因素之间的相关性,以阐明CAI患者平衡控制的神经生理变化。
图 3.11:GPS 与垂直陀螺仪姿态.................................................................................... 41 图 3.12:GPS 与垂直陀螺仪姿态.................................................................................... 41 图 3.13:卡尔曼滤波器序列...................................................................................... 42 图 3.14:卡尔曼滤波器状态和协方差矩阵的进展....................................................... 46 图 3.15:扩展卡尔曼滤波器 (EKF) 序列.................................................................... 47 图 4.1:YF-22 机载计算机 2.................................................................................... 52 图 4.2:NovAtel GPS.................................................................................................... 53 图 4.3:Goodrich Systems 垂直陀螺仪.................................................................... 54 图 4.4:IMU 与 GPS 测量获取率............................................................................. 55 图 4.5:GPS 位置(放大)..................................................................................... 57 图 4.6:GPS 位置 -瞬时信号丢失................................................................................ 57 图 4.7:方差计算的稳定状态时间段.................................................... 59 图 4.8:GPS 辅助 INS/垂直陀螺仪框图.................................................... 61 图 4.9:滤波处理序列....................................