图 1:机器人硬件和基于事件的视频。(A)移动机器人由带有 DAVIS346 事件摄像头的 TurtleBot3 Burger 构成。装有 48 个 SpiN-Naker 芯片的 Spinn-5 板(59)用于模拟我们的 SNN 模型。(B)该模型使用机器人在具有不同视觉混乱程度的自然环境中行驶时记录的数据进行训练/测试。(C)每当像素改变强度时,摄像头就会连续产生“事件”。'x' 和 'y':像素地址,'t':时间(来自原始 DAVIS 输出的纳秒时间分辨率),'on':从暗到亮的变化,'off':从亮到暗的变化。(D)传统视频具有固定速率的静态强度帧。(E)在向前运动期间集成“事件”,可以在事件摄像机的运动“帧”中可视化场景。红色和蓝色代表事件的极性,如图 (C) 所示。
摘要 - 智能机器人技术在维护,维修和大修(MRO)机库操作方面具有重要意义,其中移动机器人可以在其中导航复杂而动态的环境,以进行飞机视觉检查。飞机机库通常忙碌而变化,形状和尺寸各不相同,呈现出严格的障碍物和条件,可能导致潜在的碰撞和安全危害。这使得障碍物检测和避免对安全有效的机器人导航任务至关重要。常规方法已在计算问题上应用,而基于学习的方法的检测准确性受到限制。本文提出了一个基于视觉的导航模型,该模型将预训练的Yolov5对象检测模型集成到机器人操作系统(ROS)导航堆栈中,以优化复杂环境中的障碍物检测和避免。该实验在ROS-Gazebo模拟和Turtlebot3 Waffle-Pi机器人平台中进行了验证和评估。结果表明,机器人可以越来越多地检测并避免障碍物,而无需碰撞,同时通过不同的检查点导航到目标位置。关键字 - 自主导航,对象检测,避免障碍物,移动机器人,深度学习
摘要 — 最近的物联网 (IoT) 网络跨越众多固定和机器人设备,即无人地面车辆、水面舰艇和空中无人机,以执行关键任务服务,例如搜索和救援行动、野火监测、洪水/飓风影响评估。实现这些设备之间的通信同步、可靠性和最小通信抖动是模拟和系统级实现的关键挑战,因为基于物理的机器人操作系统 (ROS) 模拟器是基于时间的,而基于网络的无线模拟器是基于事件的,此外还有部署在现实环境中的移动和异构 IoT 设备的复杂动态。尽管如此,在将异构多机器人系统转化为实践之前,物理(机器人)和网络模拟器之间的同步是最难解决的问题之一。现有的基于 TCP/IP 通信协议的同步中间件主要依赖于机器人操作系统 1 (ROS1),由于其基于主控的架构,它消耗了大量的通信带宽和时间。为了解决这些问题,我们设计了一种新型的机器人和传统无线网络模拟器之间的同步中间件,它依赖于新发布的实时 ROS2 架构和无主数据包发现机制。我们提出了一种地面和空中代理的速度感知传输控制协议 (TCP) 算法,使用数据分发服务 (DDS) 的发布-订阅传输,以最大限度地减少不同机器人代理之间的数据包丢失和同步、传输和通信抖动。我们提出的中间件与特定的机器人和网络模拟器无关,但对于模拟和实验,我们使用 Gazebo 作为基于物理的 ROS 模拟器,使用 NS-3 作为无线网络模拟器。我们对基于 ROS2 的同步中间件,在数据包丢失概率和平均延迟方面进行了广泛的网络性能评估,包括视距 (LOS)/非视距 (NLOS) 和 TCP/UDP 通信协议。此外,为了进行比较研究,我们进行了一项详细的消融研究,用实时无线网络模拟器 EMANE 替换 NS-3,用基于主控的 ROS1 替换无主控 ROS2。我们提出的中间件证明了使用多种固定和机器人设备构建大规模物联网基础设施的前景最后,为了在实践中实现转变,我们在不同的地形上部署了一组不同的真实机器人——一架空中无人机(Duckiedrone)和两辆地面车辆(TurtleBot3 Burger),形成了无主(ROS2)和有主(ROS1)集群,以评估潜在的网络同步和抖动问题。
摘要 — 最近的物联网 (IoT) 网络涵盖大量固定和机器人设备,即无人地面车辆、水面舰艇和空中无人机,以执行搜索和救援行动、野火监测、洪水/飓风影响评估等关键任务服务。由于基于物理的机器人操作系统 (ROS) 模拟器是基于时间的,而基于网络的无线模拟器是基于事件的,因此实现这些设备之间的通信同步、可靠性和最小通信抖动是模拟和系统级实现的关键挑战,此外还有部署在现实环境中的移动和异构 IoT 设备的复杂动态。然而,在将异构多机器人系统付诸实践之前,物理(机器人)和网络模拟器之间的同步是最难解决的问题之一。现有的基于 TCP/IP 通信协议的同步中间件主要依赖于机器人操作系统 1 (ROS1),由于其基于主控的架构,会消耗大量通信带宽和时间。为了解决这些问题,我们设计了一种新型的机器人与传统无线网络模拟器之间的同步中间件,该中间件依赖于新发布的具有无主数据包发现机制的实时 ROS2 架构。我们提出了一种地面和空中代理的速度感知传输控制协议 (TCP) 算法,使用数据分发服务 (DDS) 的发布-订阅传输,以最大限度地减少不同机器人代理之间的数据包丢失和同步、传输和通信抖动。我们提出的中间件与特定的机器人和网络模拟器无关,但对于模拟和实验,我们使用 Gazebo 作为基于物理的 ROS 模拟器,并使用 NS-3 作为无线网络模拟器。我们在模拟和系统层面对数据包丢失概率和平均延迟进行了广泛的网络性能评估,使用视距 (LOS)/非视距 (NLOS) 和 TCP/UDP 通信协议,通过我们提出的基于 ROS2 的同步中间件。此外,为了进行比较研究,我们进行了一项详细的消融研究,用实时无线网络模拟器 EMANE 替换 NS-3,用基于主控的 ROS1 替换无主控的 ROS2。最后,为了在实践中实现转变,我们在不同的地形上部署了一组不同的真实机器人——一架空中无人机 (Duckiedrone) 和两辆地面车辆 (TurtleBot3 Burger),形成了无主控 (ROS2) 和主控 (ROS1) 集群,以评估潜在的网络同步和抖动问题。我们提出的中间件证明了使用一组不同的固定和机器人设备构建大规模物联网基础设施的前景
