摘要 - 由于它们的高时间分辨率,对运动模糊的弹性提高以及非常稀疏的输出,事件摄像头已被证明是低延迟和低频带特征特征跟踪的理想选择,即使在具有挑战性的情况下也是如此。现有的事件摄像机的功能跟踪方法是手工制作的或源自第一原理,但需要广泛的参数调整,对噪声敏感,并且由于未建模的效果而不会概括到不同方案。为了解决这些缺陷,我们介绍了第一个针对事件摄像机的数据驱动的功能跟踪器,该功能摄像机利用低延迟事件来跟踪在强度框架中检测到的功能。我们通过新型的框架注意模块实现了强大的性能,该模块在特征轨道上共享信息。我们的跟踪器旨在以两种不同的配置进行操作:仅与事件或结合事件和帧的混合模式。混合模型提供了两个设置:一个对齐配置,其中事件和框架相机共享相同的视点,以及一个混合立体声配置,其中事件摄像头和标准摄像头并排放置。这种并排布置特别有价值,因为它为每个功能轨道提供了深度信息,从而增强了其在视觉探光和同时定位和映射等应用程序中的效用。
主要关键词