机构名称：
¥ 1.0
摘要。最近的视频蒙版自动编码器（MAE）作品已签署了以显着性为重点的改进的掩盖算法。这些作品利用了视觉提示，例如掩盖最突出区域的运动。但是，此类视觉提示的鲁棒性取决于输入视频的频率匹配基础假设。另一方面，自然语言描述是视频的信息密集表示，它隐含地捕获了显着性而无需特定于模态的标题，并且尚未探索视频MAE。为此，我们介绍了一种新颖的文本引导掩蔽算法（TGM），该算法掩盖了与配对字幕最高对应的视频区域。在不利用任何显式视觉提示的情况下，我们的TGM与最先进的掩蔽算法（如运动引导掩盖）具有竞争力。为了从自然语言的语义中进一步受益于掩盖重建的语义，我们接下来引入了一个统一的MAE和蒙版视频文本对比学习的统一框架。我们表明，在现有的掩蔽算法中，与纯MAE相比，在各种视频识别任务上，统一MAE和蒙版视频对比学习可以改善下游性能，尤其是对于线性探测。在这个统一的框架内，我们的TGM在五个动作识别和一个以自我为中心的数据集上实现了最佳的相对性能，从而突出了自然语言对掩盖视频建模的互补性。
文本引导的视频蒙版自动编码器
主要关键词
相关文件推荐
