详细内容或原文请订阅后点击阅览
激励以自我为中心的视频理解模型中的时间意识
多模态大语言模型 (MLLM) 最近在视觉理解方面表现出了强大的性能，但它们往往缺乏时间意识，特别是在以自我为中心的环境中，其中推理取决于事件的正确排序和演变。这种缺陷部分源于训练目标未能明确奖励时间推理，而是依赖于帧级空间快捷方式。为了解决这个限制，我们提出了时态全局策略优化（TGPO），这是一种具有可验证奖励的强化学习（RLVR）算法，旨在激励时态……
来源:Apple机器学习研究多模态大语言模型 (MLLM) 最近在视觉理解方面表现出了强大的性能，但它们往往缺乏时间意识，特别是在以自我为中心的环境中，其中推理取决于事件的正确排序和演变。这种缺陷部分源于训练目标未能明确奖励时间推理，而是依赖于帧级空间快捷方式。为了解决这一限制，我们提出了时间全局策略优化（TGPO），这是一种具有可验证奖励的强化学习（RLVR）算法，旨在激励 MLLM 中的时间意识。 TGPO 对比从时间排序与打乱的视频帧生成的模型输出，以导出经过校准的、全局归一化的奖励信号，这些信号明确支持时间相干推理。 TGPO 与 GRPO 和 GSPO 集成，支持冷启动 RL 训练，并有效抑制现有 MLLM 学习到的空间捷径行为。五个以自我为中心的视频基准测试表明，TGPO 持续改进了时间基础和因果连贯性，优于之前基于强化学习的视频推理方法。我们的结果表明，TGPO 为实现以自我为中心的视频理解的时间鲁棒 MLLM 提供了一种简单且可扩展的途径。