本作品根据 Creative Commons Attribution 4.0 许可证授权。本文由 Technical Disclosure Commons 免费提供给您,供您开放访问。Technical Disclosure Commons 的授权管理员已接受将其纳入防御性出版物系列。
1.1 问题陈述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ................................................................................................................................................................................. 3 1.6 贡献.................................................................................................................................................................................................................................................................................................... 4 1.7 论文概述....................................................................................................................................................................................................... 4 1.7 论文概述....................................................................................................................................................................................................................... 4 . . . . . . . 4
摘要 — 为了实现长期自主导航中稳健、无漂移的位姿估计,我们在本文中提出了一种将全局位置信息与视觉和惯性测量融合在一起的紧耦合非线性优化估计器。与以前的松散耦合的工作不同,使用紧耦合方法可以利用所有测量之间的相关性。通过最小化包括视觉重新投影误差、相对惯性误差和全局位置残差的成本函数来估计最新系统状态的滑动窗口。我们使用 IMU 预积分来计算惯性残差,并利用该算法的结果有效地计算全局位置残差。实验结果表明,所提出的方法实现了准确且全局一致的估计,而优化计算成本的增加可以忽略不计。我们的方法始终优于松耦合的融合方法。与室外无人机 (UAV) 飞行中的松散耦合方法相比,平均位置误差减少了 50%,其中全局位置信息由嘈杂的 GPS 测量提供。据我们所知,这是首次在基于优化的视觉惯性里程计算法中紧密融合全局位置测量,利用 IMU 预积分方法定义全局位置因子。
摘要 — 由于低成本惯性传感器误差积累,行人航位推算是一项具有挑战性的任务。最近的研究表明,深度学习方法在处理这一问题上可以取得令人印象深刻的效果。在本信中,我们提出了一种基于深度学习的速度估计方法的惯性里程计。利用基于 Res2Net 模块和两个卷积块注意模块的深度神经网络来恢复水平速度矢量和来自智能手机的原始惯性数据之间的潜在联系。我们的网络仅使用公共惯性里程计数据集 (RoNIN) 数据的 50% 进行训练。然后,在 RoNIN 测试数据集和另一个公共惯性里程计数据集 (OXIOD) 上进行验证。与传统的基于步长和航向系统的算法相比,我们的方法将绝对平移误差 (ATE) 降低了 76%-86%。此外,与最先进的深度学习方法(RoNIN)相比,我们的方法将其ATE提高了6%-31.4%。
随着复杂的数据处理和分析对于使城市、工厂、汽车和家庭变得更加智能和高效变得至关重要,网络边缘嵌入式设备上的人工智能 (AI) 正在迅速发展。图像中蕴含着丰富的信息,人类对此依赖甚深。计算机视觉 (CV) 和机器学习 (ML) 可以从信息密集型图像中提取含义,例如,一个人在哪里。CV 和 ML 在改进机器视觉的缺陷检测、机器人的视觉里程计和地图绘制、汽车的车道检测等用例方面具有无价的价值。身份识别、生物识别、跌倒检测和行为识别等以人为本的应用进一步推动了楼宇出入和公共安全应用对更智能的摄像头的需求。
摘要 — 移动代理室内定位的最有效解决方案通常依赖于多传感器数据融合。具体而言,可以通过结合航位推算技术(例如基于里程计)和相对于给定参考系内具有已知位置和/或方向的合适地标的距离和姿态测量,实现准确性、可扩展性和可用性方面的良好权衡。此类技术的一个关键问题是地标部署,它不仅应考虑所采用传感器的有限检测范围,还应考虑错过地标的非零概率,即使它实际上位于传感器检测区域 (SDA) 内。本文重点研究最小地标放置,同时考虑可能的环境上下文信息。该解决方案依赖于贪婪放置算法,该算法可以最佳地解决问题,同时将定位不确定性保持在给定限制以下。通过在欧盟项目 ACANTO 背景下的多次模拟验证了所提出方法的正确性,该项目需要在大型、公共且可能拥挤的环境中(例如购物中心或机场)定位一个或多个智能机器人步行者。
主题领域 1 模式识别:数据聚类、领域自适应和泛化、信息检索、特征提取/选择和评估、统计模式识别、结构模式识别、时间序列处理 主题领域 2 计算机视觉:行为识别、深度处理和 3D 数据、面部和面部表情识别、人体姿势估计、图像融合、图像处理/分析、多模态模型(视觉 + 语言)、对象检测和识别、场景理解、分割、视频分析 主题领域 3 人工智能:因果推理、持续学习、专家系统、GAN 和扩散模型、生成式人工智能、图神经网络、可解释性和可解释人工智能、知识表示和表示学习、机器/深度学习、优化、强化学习、语义分析、不确定性预测、零样本和小样本学习 主题领域 4 应用:自主车辆、生物识别、脑机接口、脑启发计算、文档分析与识别、人机交互、医疗数据处理、自然语言处理、神经信息处理、里程计、机器人、社交计算、无人系统
我要感谢 José Neira 和 Silvère Bonnabel 教授让我有幸同意报告这篇论文,感谢审稿人 Samia Bouchafa、Pascal Vasseur 和 Michel Dhome 教授对我的工作和研究感兴趣。决定授予我医师职称。我要感谢我的论文导师 Guy Le Besnerais。他非常投入、要求严格、坦率并且总是关心我,他成功地促使我写出一篇好的论文,总是提供明智而有效的建议。我感谢大卫·维西埃,他以他传奇般的热情为这项工作提供了最初的动力,他直到最后都信任我,即使他对所采取的方向有疑问。尽管中小企业的担忧在科学博士学位的学习期间通常很难预测,但我最终拥有了很大的自由和自主权。我要非常感谢 Martial 和 Alexandre:我在论文的技术和科学方面以及其一般行为方面获得了特权。感谢 Martial 与我分享您在视觉里程计和传感器方面的经验、您的幽默感和善良。感谢 Alex 的技术讨论,这使我能够在提供技术细节(通常是枯燥的(肮脏的?))、有用的含义和值得告诉他们的兴趣的同时,提高我的理解。如果没有您精心的校对工作,论文的质量就无从谈起
摘要:随着人工视网膜的进步,神经形态计算在过去 20 年中已成为一个日益增长的研究领域。机器人、自动驾驶、医疗设备中的应用开始出现。然而,仍然存在一些主要问题,因为使用的方法过于频繁地模仿,甚至简单地适应为根本不同类型的数据而开发的标准基于帧的技术。这些技术通常处理批量数据,执行全局优化,同时忘记事件的基本性质。由于它们呈现场景的微小变化,我们认为在计算时应将其视为此类变化。本论文重点关注视觉里程计的案例,以开发完全基于事件的计算技术,利用现有的神经形态传感器的全部优势。使用无穷小更新,我们开发了低延迟算法,同时处理截然不同的场景动态。通过仔细分析事件流,我们相信可以在低计算成本下实现低延迟,这再次表明神经形态工程是减少计算机视觉能量足迹的一种方法。第一部分解决了屏幕跟踪问题。通过使用惯性模型,我们开发了一种高频跟踪解决方案,无需事先了解相关形状。第二组算法展示了如何从双目系统计算光流和深度,并以异步方式使用它们来计算视觉传感器自我运动估计。第三部分将前两个部分组合成一个虚拟模型,几乎不需要对场景进行任何假设即可恢复在线姿势。最后,最后一部分更深入地分析了基于事件的范式中时间的重要性,并描述了为实现正确和高效的时间处理而实施的开发框架解决方案。
视觉导航是机器人技术中的基本问题之一。在过去十年中,这一领域取得了许多重要贡献。截至目前,基于特征点的方法最为流行。虽然这些方法在许多应用中都取得了成功,但无纹理环境对于这些方法来说可能存在很大问题,因为在这些场景中可靠的特征点数量通常很少。尽管如此,边缘可能仍然大量可用,但却未被使用。在本论文中,我们提出了互补的基于边缘的方法,用于视觉定位、映射和密集重建,这些方法在理论上最小的场景配置中仍可运行。从稀疏立体边缘匹配开始,我们提出了两种具有不同性能/效率权衡的技术,它们都针对实时操作。除了与流行的密集立体技术进行比较之外,我们还将这些算法与我们对基于线段的立体方法的有效改编进行了比较。谈到立体视觉里程计,我们提出了一种基于线段的重新投影优化方法,该方法能够在无纹理环境中发挥作用,而经过验证的最先进的基于特征点的方法则无法发挥作用。我们认为,我们的方法甚至可以应对理论上最小的情况,即仅由两个非平行线段组成。然后,我们将这种方法扩展为基于完整线段的同时定位和映射解决方案。使用捆绑调整,我们能够