机构名称：
¥ 1.0
学习多个参与者之间的时空关系对于群体活动识别至关重要。不同的群体活动通常会展示视频中参与者之间的多样化互动。因此，从时空参与者演化的单一视角来建模复杂的群体活动往往很困难。为了解决这个问题，我们提出了一个独特的双路径参与者交互 (Dual-AI) 框架，它以两种互补的顺序灵活地排列空间和时间变换器，通过整合不同时空路径的优点来增强参与者关系。此外，我们在 Dual-AI 的两个交互路径之间引入了一种新颖的多尺度参与者对比损失 (MAC-Loss)。通过帧和视频级别的自监督参与者一致性，MAC-Loss 可以有效区分单个参与者表示，以减少不同参与者之间的动作混淆。因此，我们的 Dual-AI 可以通过融合不同参与者的这些判别特征来增强群体活动识别。为了评估所提出的方法，我们在广泛使用的基准上进行了大量实验，包括排球 [ 21 ]、集体活动 [ 11 ] 和 NBA 数据集 [ 49 ]。所提出的 Dual-AI 在所有这些数据集上都实现了最佳性能。值得注意的是，所提出的 Dual-AI 使用 50% 的训练数据，其性能优于许多近期使用 100% 训练数据的方法。这证实了 Dual-AI 在群体活动识别方面的泛化能力，即使在有限监督的具有挑战性的场景下也是如此。
双AI：用于群体活动识别的双路径参与者交互学习
主要关键词
相关文件推荐
