未来框架合成(FFS)任务的目标是根据历史框架的顺序生成未来框架(Srivastava等,2015)或仅具有单个上下文框架(Xue等,2016),具有或没有其他控制信号。该FFS的学习目标也被认为是建立世界模型的关键(Ha&Schmidhuber,2018; Hafner等,2023b)。ffs与低级计算机视觉处理技术密切相关,尤其是在近框架附近合成时(Liu等,2017; Wu等,2022b; Hu等,2023b)。但是,FFS通过隐式要求对场景动态和时间连贯性有更复杂的理解,与其他低级任务分歧,这通常是高级视觉任务的特征。挑战在于设计模型可以实现这种余额,使用中等数量的参数来最大程度地减少推理延迟和资源消耗,从而使FFS适用于现实世界中的应用程序。FFS的这种独特位置表明了其在计算机视觉中低水平感知与预测与高级理解和发电之间差距之间的差距中不可或缺的作用。
主要关键词