使用深度学习技术进行视频创作(+video)

生活在一个动态的物理世界中,我们并不重视我们感知周围现实的容易程度。通过最低限度的思维张力,我们可以理解可见的情况将如何变化以及物体如何相互作用。

来源:Robogeek新闻频道(关于机器人技术的俄罗斯与世界新闻)

生活在一个动态的物理世界中,我们并不重视我们感知周围现实的容易程度。通过最低限度的思维张力,我们可以理解可见的情况将如何变化以及物体如何相互作用。

但对我们来说看似自然的事情对于机器来说仍然是一个巨大的问题。由于移动物体的方式有无数种,对于机器来说预测事件将如何展开可能很困难。

最近,麻省理工学院 (MIT) 的研究人员在开发深度学习算法方面又向前迈出了一步,该算法可以使用静态图像创建模拟这些物体未来状态的短视频。

经过 200 万个示例的训练,该算法生成的视频对人们来说比基本模型中的算法生成的视频逼真 20%。

需要澄清的是,目前视频分辨率还比较低,时长只有1-1.5秒。但该团队希望未来的版本能够具有多种应用,从改进的安全算法到自动驾驶系统中的危险预测。

据该想法的原作者 Karl Vondrichk 称,该算法还可以帮助机器识别人类活动,而无需昂贵的人工注释。 “这些视频向我们展示了计算机正在思考场景中可能发生的情况。如果你能预测未来,你就必须了解现在。”冯德里切克说。

麻省理工学院研究人员的这项工作将于下周在巴塞罗那举行的神经信息处理系统会议上展示。

它是如何工作的?

这些类型的模型不仅限于预测未来。生成的视频可用于向静态图像添加动画,例如《哈利·波特》系列图书中的活报。