机构名称：
¥ 1.0
我们在任何粒度（标签）中介绍跟踪：用于跟踪视频中任意目标的新任务，模型和数据集。我们寻求一种跟踪方法，将点，零件和对象视为同样可跟踪的目标类型，这是一个事实，即这些粒度之间的区别是模棱两可的。我们为任务介绍了通用的高容量变压器，作为输入视频和目标提示（指示要跟踪的内容，以单击，框或掩码的形式跟踪），并在每个帧上输出目标的分割时产生。为了训练模型，我们几乎汇总了我们所知道的几乎所有公共可用的跟踪数据集，目前总计75个，总计数百万的带有跟踪注释的剪辑，包括长长的稀有主题，例如昆虫上的身体关键点和显微镜数据。我们的模型在标准基准测试基准上具有竞争力，用于点跟踪，掩盖跟踪和盒子跟踪，但更重要的是，在很大程度上要归功于数据工作。我们将公开发布我们的代码，模型和汇总数据集，以提供运动和视频理解的基础模型，并促进该方向的未来研究。
标签：在任何粒度上跟踪
主要关键词
相关文件推荐
