Facebook 将真人变成可控制的游戏角色(+视频)

Facebook 的一组研究人员创建了一种名为 Vid2Play 的人工智能,可以从真人玩游戏的视频剪辑中提取计算机游戏中可用的角色。然后,人工智能会创建高科技计算机版本的 FMV(全动态视频)游戏,例如《Night Trap》。

来源:Robogeek新闻频道(关于机器人技术的俄罗斯与世界新闻)

Facebook 的一组研究人员创建了一种名为 Vid2Play 的人工智能,可以从真人玩游戏的视频剪辑中提取计算机游戏中可用的角色。然后,人工智能会创建高科技计算机版本的 FMV(全动态视频)游戏,例如《Night Trap》。

一般来说,神经网络可以分析随机选择的人们执行某些动作的视频片段。然后,人工智能会在任何环境中重新创建该角色及其行为,并允许您使用操纵杆控制它们。

该团队使用了两个名为 Pose2Pose 和 Pose2Frame 的神经网络。首先,视频被输入 Pose2Pose 神经网络,该网络旨在处理特定类型的动作,例如跳舞、网球或击剑。系统找到一个人的帧并从外部背景中选择不同的姿势。然后,Pose2Frame 将人物及其阴影和手中的任何物体插入到一个具有最少伪影的新场景中。然后,您可以使用操纵杆或键盘根据视频中的姿势控制人们的动作。

AI只需要一些击剑、舞蹈和网球的短视频片段即可训练。人工智能可以过滤掉其他人并补偿不同的摄像机角度。这项研究让人想起 Adob​​e 的“内容感知填充”技术,该技术也使用人工智能从视频中删除不必要的元素,例如游客或垃圾桶。值得注意的是,还有其他公司,例如 NVIDIA,也创建了自己的 AI,可以将真实视频转换为适合游戏的虚拟景观。