多传感器融合是一种关键技术,可以解决众多安全至关重要的任务和应用,例如自动驾驶汽车和自动化的机器人臂。随着数据驱动的人工智能(AI)的持续进步,MSF的感测和理解错综复杂的外部环境的潜力得到了进一步扩大,从而对智能系统,特别是其感知系统产生了深远的影响。类似于传统软件,启用AI的MSF系统也需要足够的测试。然而,现有的测试方法主要集中于单传感器感知系统(例如,基于图像和基于点云的对象检测系统)。仍然缺乏对MSF系统生成多模式测试案例的重视。为了解决这些局限性,我们设计和实施了多测试,这是一种适用于复杂MSF感知系统的健身指导的变质测试方法。Mutitest采用物理感知方法来综合现实的多模式对象实例,并将它们插入背景图像和点云的关键位置。健身指标旨在指导和增强测试过程。我们使用五个SOTA感知系统进行了广泛的实验,以从以下角度评估多性:(1)生成的测试用例现实主义,(2)故障检测能力,以及(3)绩效改善。结果表明,多点可以生成现实且模态的测试数据,并有效地检测到正在测试的MSF系统的数百个不同故障。此外,在由Muttitest生成的测试用例上重新验证MSF系统可以改善系统的鲁棒性。我们的复制软件包和合成的测试数据集可在https://sites.google.com/view/msftest上公开获得。
主要关键词