计算机视觉中视觉对象跟踪任务的进步使其在视频监控中的应用价值不断增长,特别是在交通场景中。近年来,人们非常关注多对象跟踪框架的改进,使其在保持准确性和通用性的同时实时有效。通过分解基于跟踪检测方法的多对象跟踪框架中涉及的任务(简单检测和识别对象的扩展),进一步涉及通过定义相似性函数来关联对象来解决过滤问题。因此,本文仅关注通过唯一定义的相似性函数和过滤器进行数据关联的任务,其中我们回顾了有关这些技术的当前文献,这些技术已用于提高车辆和行人场景的 MOT 性能。虽然仅在拟议的 MOT 框架内对关联任务的定量结果进行分类很困难,但我们的研究试图概述研究人员提出的基本思想,并以理论上的定性方法比较结果。跟踪方法按基于概率和分层方法等传统技术的类别进行审查,然后分析新方法和混合模型。对每个类别中确定的模型根据稳定性、准确性、稳健性、速度和计算复杂度等方面的性能进行进一步分析
在人类对科学知识的探索中,经验证据是通过视觉感知收集的。计算机视觉跟踪在揭示我们所生活的世界中存在的复杂运动模式方面发挥着重要作用。多目标跟踪算法提供了有关群体和个体群体成员如何在三维空间中移动的新信息。它们使我们能够深入研究移动群体中个体之间的关系。这些可能是拥挤的人行道上行人的互动、显微镜下的活细胞或从洞穴中大量出现的蝙蝠。能够跟踪行人对于城市规划很重要;细胞相互作用的分析支持生物材料设计研究;蝙蝠和鸟类飞行的研究可以指导飞机工程。我们受到这些众多应用的启发,开始考虑将单目标跟踪系统推进到多目标跟踪系统所需的关键组件——数据关联。最一般意义上的数据关联是将有关新观察到的对象的信息与先前观察到的有关它们的信息进行匹配的过程。这些信息可能是关于它们的身份、位置或轨迹。数据关联算法搜索优化某些匹配标准并受物理条件影响的匹配。因此,它们可以表述为解决“约束优化问题”——在存在这些变量的约束的情况下优化某些变量的目标函数的问题。因此,数据关联方法具有强大的数学基础,是计算机视觉研究人员宝贵的通用工具。本书是数据关联方法的教程,适用于计算机视觉领域的学生和专家。我们描述了基本的研究问题,回顾了当前的技术水平,并介绍了一些最近开发的方法。本书涵盖了二维和三维的多目标跟踪。我们考虑了两种成像场景,涉及单个摄像机或具有重叠视野的多个摄像机,并且需要跨时间和跨视图的数据关联方法。除了将新测量结果与已建立的轨迹相匹配的方法外,我们还描述了匹配轨迹段(也称为轨迹小段)的方法。最后,我们讨论了未来研究的激动人心的方向。本书介绍了数据关联的原理性应用,以解决两个有趣的任务:第一,分析自由飞行动物群体的运动;第二,重建行人群体的运动。
I. 引言 在现代监视系统中,目标是通过组合来自多个传感器的数据来对情况进行精确评估,从而提供各种信息。这个过程涉及信息融合的主题。信息融合的核心问题是数据关联问题,它对应于将观测结果划分为误报和轨迹,以便可以估计它们的状态。常见的监视配置由多个传感器对给定监视区域的一系列扫描描述。这些观测结果被排列成 m 组观测结果。传感器提供运动信息,例如范围、方位角和仰角。从数学上讲,该问题可以表述为多维分配问题,其中决策变量对应于基本关联,目标是最大化关联对应于目标的可能性 [1]。该问题的任何可行解都对应一个潜在的关联假设。对于 m ≥ 3 ,多维分配问题是 NP 难的。已经提出了许多启发式算法来寻找近似解,例如拉格朗日松弛 [2]、贪婪舍入自适应搜索 (GRASP) [3]、遗传算法 [4] 以及线性松弛和舍入技术 [5]。此外,在许多情况下,可以采用门控技术 [6]、[7],这可以大大减少决策变量的数量,并可以最佳地解决问题。即使大部分文献都致力于这方面,有效解决多维分配问题并不是数据关联问题的唯一挑战。事实上,接近最优甚至最优解决方案的质量可能会因具体情况而有很大差异。在稀疏配置或高精度传感器下,模型表现良好,最佳甚至近似解决方案通常