摘要 - 次数是最敏捷的飞行机器人之一。尽管在基于学习的控制和计算机视觉方面取得了进步,但自动无人机仍然依赖于明确的状态估计。另一方面,人类飞行员仅依靠从板载摄像头的第一人称视频流将平台推向极限,并在看不见的环境中坚固地飞行。据我们所知,我们提出了第一个基于视觉的四摩托系统,该系统自动浏览高速的一系列门,而直接映射像素以控制命令。像专业的无人机赛车飞行员一样,我们的系统不使用明确的状态估计,并利用人类使用的相同控制命令(集体推力和身体速率)。我们以高达40 km/h的速度展示敏捷飞行,加速度高达2 g。这是通过强化学习(RL)的基于识别的政策来实现的。使用不对称的参与者批评,可以促进培训,并获得特权信息。为了克服基于图像的RL训练期间的计算复杂性,我们将门的内边缘用作传感器抽象。可以在训练过程中模拟这种简单但坚固的与任务相关的表示,而无需渲染图像。在部署过程中,使用基于Swin-Transformer的门检测器。我们的方法可实现具有标准,现成的硬件的自动敏捷飞行。尽管我们的演示侧重于无人机赛车,但我们认为我们的方法超出了无人机赛车的影响,可以作为对结构化环境中现实世界应用的未来研究的基础。
主要关键词