我们开发了一种大型的多模式模型技术,可以应用于机器人的感知,决策和操作,并通过环境和自主任务计划成功地实现了机器人与大型多模式模型之间相互作用的框架。这种创新技术集成了多种模态信息,例如地图数据,视觉对象识别和语音识别,可以为机器人提供更全面,更准确的环境感知,理解和互动功能。使用多模式大型模型在任务计划中的应用,机器人可以有效地改善多任务决策和执行功能,例如对话,导航,对象抓住,交付,对象识别和人类机器人交互。该技术框架在2023年世界机器人会议上受到了广泛关注。
• 推进新方法的工具,用于实时捕获和量化行为的多个维度。 • 推进环境感知(例如物联网 [IoT])和/或改善情境测量与行为测量集成的工具。 • 现有智能硬件技术(例如手机、可穿戴技术)的新应用和/或利用,用于捕获动态行为和/或在同一时间尺度上整合行为和生理测量。 • 不太显眼的无线移动设备(例如无背包),具有长期和高存储容量(例如,内存或功耗允许跨天采样而不是间歇采样),以实现更高的时间分辨率和/或跨时间尺度(例如从毫秒到几天)的使用。
美国及其盟军的作战行动继续凸显无人系统在现代作战环境中的价值。作战指挥官 (CCDR) 和作战人员重视无人系统的固有特性,尤其是其持久性、多功能性和降低人身风险。美国军种正在所有领域迅速增加这些系统的数量:空中、地面和海上。无人系统为联合指挥官提供了多种能力,使其能够在整个军事行动范围内开展行动:环境感知和战场感知;化学、生物、放射和核 (CBRN) 检测;反简易爆炸装置 (C-IED) 能力;港口安全;精确瞄准;精确打击。此外,这些无人系统提供的能力还在不断扩大。
美国及其盟军的作战行动继续凸显无人系统在现代作战环境中的价值。作战指挥官 (CCDR) 和作战人员重视无人系统的固有特性,尤其是其持久性、多功能性和降低对人类生命的风险。美国军种正在所有领域迅速增加这些系统的部署数量:空中、地面和海上。无人系统为联合指挥官提供了多种能力,以在各种军事行动中开展行动:环境感知和战场感知;化学、生物、放射和核 (CBRN) 检测;反简易爆炸装置 (C-IED) 能力;港口安全;精确瞄准;精确打击。此外,这些无人系统提供的能力还在不断扩大。
美国及其盟军的作战行动继续凸显无人系统在现代作战环境中的价值。作战指挥官 (CCDR) 和作战人员重视无人系统的固有特性,尤其是其持久性、多功能性和降低对人类生命的风险。美国军种正在所有领域迅速增加这些系统的部署数量:空中、地面和海上。无人系统为联合指挥官提供了多种能力,使其能够在整个军事行动范围内开展行动:环境感知和战场感知;化学、生物、放射和核 (CBRN) 检测;反简易爆炸装置 (C-IED) 能力;港口安全;精确瞄准;精确打击。此外,这些无人系统提供的能力还在不断扩展。
摘要 - LiDar-Camera校准在自主驾驶中起着至关重要的作用。然而,操作诱导的因素(例如物理振动和温度变化)降低了部署前校准精度,从而导致了环境感知性能恶化。最近的重新校准方法通过利用LiDAR和相机的相对属性,在没有目标板的情况下实现了在线校准。尽管如此,我们还是为LIDAR-CAMERA在线校准提供了一个新颖的框架,该框架采用了变压器网络来学习相机与激光雷达传感器之间的重要相互作用。此外,我们的新型框架设计通过利用两个传感器之间的对应点信息来促进有效的校准。这允许利用全球空间上下文,并通过整合跨模态的信息来实现高性能。实验结果表明,与最先进的基准相比,我们的方法证明了表现出色的性能。
毫米波(mmwave)雷达由于其稳健性在低光条件下,在环境感知中的越来越多。但是,现有方法无法解决多路径干扰和低分辨率分辨率的挑战。在本文中,我们引入了衍射,该衍射概率模型(DPM)用于高质量的MMWAVE环境感应。为了适应DPM的雷达信号,缺少PIX级的结构信息,我们会签署一个轮廓编码器,以捕获固有的场景特征,使DPM能够从雷达数据中学习强大的表示。然后,DPM解码器利用此高级语义信息有效地重建了现实世界的场景。广泛的实验表明,在各种复杂情况下,我们的APACH超过了最新方法。
摘要:在自主驾驶技术不断发展的景观中,光检测和范围(LIDAR)传感器已成为增强环境感知的关键仪器。他们可以在车辆周围提供精确的,高分辨率的实时3D表示,以及在弱光条件下进行远程测量的能力。但是,这些优势是以传感器生成的大量数据为代价的,导致了传输,处理和存储操作的几个挑战,目前可以通过对点云中使用数据压缩技术来减轻这些挑战。本文介绍了用于压缩汽车LIDAR传感器的点云数据的现有方法的调查。它提出了一种全面的分类法,将这些方法分为四个主要群体,并在几个重要指标中进行比较和讨论。
本期第 2 期包含三篇非常重要且不同的文章:• 第一篇文章的标题为“国防组织采用人工智能需要进一步关注道德、法律和社会方面”,强调无人机运行需要法律和监管框架。此外,它还提出并提出了关于人工智能伦理的有效观点——请注意,机器人伦理总体上是一个中心讨论话题。• 第二篇文章的标题为“基于两栖无人机的新型远程水质检测系统”,主要围绕无人机在特定公共领域应用中的使用。• 第三篇文章的标题为“为 AirSim 3D LiDAR 传感器引入噪声以减少模拟多旋翼操作中的 Sim2real 差距”,主要关注准确建模传感器噪声的重要性,因为它可能会影响空中机器人对周围环境感知的准确性和可靠性。本期最后介绍了有关无人航空的最新消息和报道。