在许多现实世界中,必须实时进行6D自我动作估计和映射。尤其是在机器人领域,低延迟和稳健的运动估计对于控制自动驾驶是必不可少的。动态生成的地图对于避免障碍物和路径计划也是必不可少的。迄今为止,实时融合各种传感器及其大量数据仍然是一项相当艰巨的任务。当传感器遭受外部诉讼和测量误差时,问题的复杂性就会增加。当自我运动估计和映射应在6D中进行,准确,稳健,低延迟且形状较小时,问题尤其困难。在本文中,我们建议通过以粗到精细的方式利用范围,磁性和内部感测来解决问题。这项工作的内容分为两个主要小节:使用多传感器融合方法在室内环境中进行稳健的态度和标题估计,以及使用基于激光拉尔达的系统的低延迟6D EGO-MOTION估计和映射技术。在第一部分中,我们提出了一种基于偏僻的二惯性和磁性传感器的新型多传感器融合。它的发展是为了进行稳健的态度和标题估计,并能够补偿外部磁场异常。我们制定了一个基于相关的滤波器模型,用于预处理术语数据,并采用了复发性神经网络(RNN)融合模型,以在室内环境中执行强大的估计。在第二部分中,我们提出了基于LiDAR扫描切片和并发匹配方法的低延迟大满贯框架。此框架 - 在并发的多线程匹配管道中使用切成薄片的点云数据,并利用态度和标题角度来实现高更新率和低延迟6D自我感动估计。将lissajous旋转模式应用于传感器的有限视场(FOV)。二维粗糙度模型被删除,以提取特征点,以进行点云的精细匹配和注册。此外,姿势估计器会参与时间运动预测变量,该预测器有助于在地图中找到特征对应关系,以便非线性优化器的快速收敛性。我们已经通过一系列广泛的实验验证了所提出的自我运动估计和映射方法,这些实验从远程诉讼,手工接种到无人机连接设置。在整个实验中,探索了不同的环境,例如室内实验室,办公室,家庭和工业地点以及各种混合条件。表明,这些方法能够进行高精度,低延迟估计以及快速运动和环境退化方面的鲁棒性。
摘要 - 移动自主权依赖于动态环境的精确感知。在3D世界中强有力地跟踪移动对象,因此在诸如Trajectory预测,避免障碍和路径计划之类的应用中起着关键作用。虽然大多数当前方法利用激光镜或摄像机进行多个对象跟踪(MOT),但4D成像雷达的功能仍未得到探索。认识到4D雷达数据中雷达噪声和点稀疏所带来的挑战,我们引入了Ratrack,这是一种针对基于雷达的轨道量身定制的创新解决方案。绕过对特定对象类型和3D边界框的典型依赖,我们的方法着重于运动分割和聚类,并由运动估计模块丰富。评估在“视图”数据集中,ratrack展示了移动对象的卓越跟踪精度,在很大程度上超过了最新技术的性能。我们在https://github.com/ljacksonpan/ratrack上发布代码和模型。
我们解决这个问题的方法遵循两阶段流程:(1)自我运动估计和(2)检测和跟踪。这两个阶段都是全卷积神经网络,可以扩展到高分辨率输入。它们在 Amazon Prime Air 发布的标记数据集上进行训练,该数据集包含 330 多万张飞机、直升机、无人机和其他飞行物体的图像。我们还开发了自己的飞机数据收集系统,并设计了用于飞行中遭遇的定制视觉 DAA 有效载荷。通过对现实世界数据进行实证评估,我们的方法与两种基线检测和跟踪架构进行了比较,结果显示我们的方法更胜一筹。在 DAA 行业标准 (ASTM F3442/F3442M - 20) 的背景下分析我们的定量结果,我们还表明,所提出的方法可以满足某些类别无人机的视觉 DAA 监视要求,这些无人机的最低巡航速度为 60-90 节,最小转弯速率为 21-31 度/秒,最小爬升率为 250-500 英尺/分钟。
我们解决这个问题的方法遵循一个两阶段流程:(1)自我运动估计和(2)检测和跟踪。这两个阶段都是完全卷积神经网络,可以扩展到高分辨率输入。它们在 Amazon Prime Air 发布的标记数据集上进行训练,该数据集包含 330 多万张飞机、直升机、无人机和其他飞行物体的图像。我们还开发了自己的飞机数据收集系统,并设计了一个定制的基于视觉的 DAA 有效载荷,用于飞行中相遇。通过对现实世界数据进行实证评估,我们的方法与两种基线检测和跟踪架构进行了比较,结果显示我们的方法更胜一筹。在 DAA 行业标准 (ASTM F3442/F3442M - 20) 的背景下分析我们的定量结果,我们还表明,所提出的方法可以满足某些类别的无人机的视觉 DAA 监视要求,这些无人机的最低巡航速度为 60-90kts,最低转弯率为 21-31 度/秒,最低爬升率为 250-500 英尺/分钟。
数字视频账户形式的电影占当今所有互联网流量的70%以上。R&D在这一领域激发了数字媒体创建,在线视频流和视频媒体共享的新行业。 工业光和魔术,铸造厂,YouTube,Netflix,Vimeo,Skype,Sky Digital只是现在在这个领域成功运作的著名大型公司。 电影工程为学生做好准备在这些行业的职业准备,包括后期制作工具开发和视频流。 第一部分(在阅读周之前)介绍了运动估计,对象细分和统计视频处理中的基本思想。 阅读周后的第二部分将研究现代压缩标准,例如H.264/5,VP9,AV1/2。 模块还考虑了深度学习的各个方面。 该模块将每两周一次的研讨会计划与来自领域专家的来宾讲座结合在一起。 学生在公司开发数字媒体工具中常见的研究,插件开发和测试方面的实用技能。 将向学生介绍该领域的领先研究论文,并为Nuke(www.thefoundry.co.uk)开发视频处理插件,这是电影后制作行业的领先视频处理平台。R&D在这一领域激发了数字媒体创建,在线视频流和视频媒体共享的新行业。工业光和魔术,铸造厂,YouTube,Netflix,Vimeo,Skype,Sky Digital只是现在在这个领域成功运作的著名大型公司。电影工程为学生做好准备在这些行业的职业准备,包括后期制作工具开发和视频流。第一部分(在阅读周之前)介绍了运动估计,对象细分和统计视频处理中的基本思想。阅读周后的第二部分将研究现代压缩标准,例如H.264/5,VP9,AV1/2。模块还考虑了深度学习的各个方面。该模块将每两周一次的研讨会计划与来自领域专家的来宾讲座结合在一起。学生在公司开发数字媒体工具中常见的研究,插件开发和测试方面的实用技能。将向学生介绍该领域的领先研究论文,并为Nuke(www.thefoundry.co.uk)开发视频处理插件,这是电影后制作行业的领先视频处理平台。
摘要 — 惯性导航系统(INS)已广泛应用于智能交通系统中提供独立和连续的运动估计。近年来,芯片级惯性传感器的出现将相关应用从定位、导航和移动地图扩展到基于位置的服务、无人系统和交通大数据。同时,受益于大数据的出现以及算法和计算能力的提升,人工智能(AI)已成为在各个领域成功应用的共识工具。本文从传感器设计和选择、校准和误差建模、导航和运动感知算法、多传感器信息融合、系统评估和实际应用等各个方面回顾了利用AI技术增强惯性感知的研究。本文从近300篇相关出版物中筛选出30多篇代表性文章,总结了各个方面的现状、优势和挑战。最后,总结了AI增强惯性传感的九大优势和九大挑战,并指出了未来的研究方向。
评估心肌的形状和运动状态对于诊断心血管疾病至关重要。然而,电影磁共振 (CMR) 成像以 2D 切片为主,其大切片间距对切片间形状重建和运动获取提出了挑战。为了解决这个问题,我们提出了一种将运动和形状分离的 4D 重建方法,该方法可以从有限切片获得的给定稀疏点云序列预测间/内形状和运动估计。我们的框架包括一个神经运动模型和一个舒张末期 (ED) 形状模型。隐式 ED 形状模型可以学习连续边界并鼓励运动模型在没有地面真实变形监督的情况下进行预测,并且运动模型通过将任意点从任意阶段变形到 ED 阶段来实现形状模型的规范输入。此外,构建的 ED 空间可以对形状模型进行预训练,从而指导运动模型并解决数据稀缺问题。我们提出了我们所知的第一个 4D 心肌数据集,并在提出的、公开的和跨模态的数据集上验证了我们的方法,显示出卓越的重建性能并实现了各种临床应用。
在太空着陆操作期间,准确估计航天器的相对姿态对于确保安全成功着陆至关重要。本文提出了一种基于 3D 光检测和测距 (LiDAR) 的 AI 相对导航架构解决方案,用于自主太空着陆。所提出的架构基于混合深度循环卷积神经网络 (DR-CNN),将卷积神经网络 (CNN) 与基于长短期记忆 (LSTM) 网络的循环神经网络 (RNN) 相结合。获取的 3D LiDAR 数据被转换为多投影图像,并将深度和其他多投影图像输入 DRCNN。该架构的 CNN 模块可以有效地表示特征,而 RNN 模块作为 LSTM,可提供鲁棒的导航运动估计。我们考虑、模拟和实验了各种着陆场景,以评估所提出架构的效率。首先使用 PANGU(行星和小行星自然场景生成实用程序)软件创建基于 LiDAR 的图像数据(范围、坡度和海拔),然后使用这些数据对所提出的解决方案进行评估。建议使用 Gazebo 软件中的仪表化空中机器人进行测试,以模拟在合成但具有代表性的月球地形(3D 数字高程模型)上着陆的场景。最后,使用配备 Velodyne VLP16 3D LiDAR 传感器的真实飞行无人机进行真实实验,以在设计的缩小版月球着陆表面上着陆时生成真实的 3D 场景点云。所有获得的测试结果表明,所提出的架构能够通过良好合理的计算提供良好的 6 自由度 (DoF) 姿势精度。
量化人体运动行为首先要尽可能准确地测量和估计运动学和动力学变量。监测人体运动在功能康复、骨科、运动、辅助机器人或工业人体工程学中有着广泛的应用。当今的运动捕捉系统通常指立体摄影测量系统和实验室级测力板,它们虽然准确,但价格昂贵、需要专业技能且不便携。最近,使用惯性测量单元或 RGB 深度相机等价格实惠的传感器进行人体运动估计已成为众多研究的主题。尽管这些系统在实验室外具有巨大的应用潜力,但它们的准确性仍然有限,主要是由于固有的 IMU 漂移和视觉遮挡,而且关节运动学和动力学估计仍然难以估计。这些缺点可能解释了为什么这种系统很少用于常见的临床应用或家庭康复计划。在此背景下,本论文致力于开发一种新型、经济实惠的运动捕捉系统,该系统能够准确估计人体的三维关节状态。与以前基于视觉或惯性传感器的研究不同,所提出的方法包括结合新设计的视觉惯性传感器的数据。该系统还利用了新的实用校准方法,这种方法不需要任何外部设备,而且价格非常实惠。所有传感器数据都融合到一个受约束的扩展卡尔曼滤波器中,该滤波器利用人体的生物力学和所研究的任务来显著改善关节状态估计。这是通过结合不同类型的约束来实现的,例如关节限制、刚体和软关节约束,以及对关节轨迹和/或传感器随机偏差的时间演变进行建模。该系统估计精确的三维关节运动学的能力已通过对上臂和跑步机步态的日常生活活动的各种案例研究得到验证。已经研究了两种具有不同传感器数量和配置的不同原型。与黄金标准运动捕捉系统相比,对几名健康受试者进行的实验显示出非常令人满意的结果。总体而言,两个系统之间的平均 RMS 差异低于 4 度。当使用较少数量的传感器进行步态分析时也是如此。该系统还用于动态识别
量化人体运动行为首先要尽可能准确地测量和估计运动学和动力学变量。监测人体运动在功能康复、骨科、运动、辅助机器人或工业人体工程学方面有着广泛的应用。当今的运动捕捉系统通常是指立体摄影测量系统和实验室级测力板,它们准确但价格昂贵,需要专业技能,并且不便携。最近,使用价格实惠的传感器进行人体运动估计,例如惯性测量单元或 RGB 深度相机,已成为众多研究的主题。尽管这些系统在实验室外具有巨大的应用潜力,但它们的准确性仍然有限,主要是由于固有的 IMU 漂移和视觉遮挡,并且关节运动学和动力学估计仍然难以估计。这些缺点可能解释了为什么这种系统很少用于常见的临床应用或家庭康复计划。在此背景下,本论文涉及开发一种新的经济实惠的运动捕捉系统,该系统能够准确估计人体 3D 关节状态。与以前基于视觉或惯性传感器的研究不同,所提出的方法包括结合新设计的视觉惯性传感器的数据。该系统还利用了新的实用校准方法,这些方法不需要任何外部设备,同时仍然非常实惠。所有传感器数据都融合到一个受约束的扩展卡尔曼滤波器中,该滤波器利用人体的生物力学和所研究的任务来显着改善关节状态估计。这是通过结合不同类型的约束(例如关节限制、刚体和软关节约束)以及对关节轨迹的时间演变和/或传感器随机偏差进行建模来实现的。该系统估计精确 3D 关节运动学的能力已通过对上臂和跑步机步态的日常生活活动的各种案例研究得到验证。已经研究了两种具有不同传感器数量和配置的不同原型。与黄金标准运动捕捉系统相比,对几名健康受试者进行的实验显示出非常令人满意的结果。总体而言,两个系统之间的平均 RMS 差异低于 4 度。当使用较少数量的传感器进行步态分析时也是如此。该系统还用于