TrajTok: Learning Trajectory Tokens enables better Video Understanding
视频模型中的标记化（通常通过补丁化）会生成过多且冗余的标记。这严重限制了视频效率和可扩展性。虽然最近基于轨迹的标记器通过将视频持续时间与标记计数解耦提供了一种有前途的解决方案，但它们依赖于复杂的外部分段和跟踪管道，这些管道速度缓慢且与任务无关。我们提出 TrajTok，一个端到端视频标记器模块，它与视频模型完全集成并共同训练以实现下游目标，动态调整其标记粒度以适应语义复杂性......
