meta摩卡生成会说话的动画字符

Meta Mocha是由Meta与滑铁卢大学合作开发的开创性的AI系统,旨在通过足够高级的电影制作来产生动画角色。该系统可以通过同步语音和自然动作创建完整的角色动画,从而使数字电影艺术中的新水平具有现实主义。 Mocha生成完整的[…] Meta Mocha最初出现在AI新闻中。

来源:AI新闻

Meta Mocha是由Meta与滑铁卢大学合作开发的开创性的AI系统,旨在通过足够高级的电影制作来产生动画角色。该系统可以通过同步语音和自然动作创建完整的角色动画,从而使数字电影艺术中的新水平具有现实主义。

Mocha生成完整的角色动画,而无需任何外部参考点,例如图像,骨架或其他辅助工具。与以前的技术相比,这是向前迈出的重要一步,这些技术通常需要大量的手动工作或其他输入来创建逼真的动画。

大多数现有的视频工具都集中在现实的环境(例如Pika,Sora)或面部动画上,表达有限(例如Sadtalk或Hallo3)。摩卡(Mocha)通过使用看起来几乎胶卷的自然动作创建完整的角色动画来对问题进行整体方法。

这为电影制片人,游戏开发人员和数字内容创建者提供了巨大的机会,他们可以使用该技术快速生成角色动画而无需进行大量的手动工作。

它的工作原理

要创建一个动画场景,您只需要两件事

    带有语音的声音剪辑 - 控制着唇部同步,情感表达和描述角色,舞台和动作的手势文本描述。
  • 带有演讲的声音剪辑 - 控制嘴唇同步,情感表达和手势
  • 描述角色,舞台和动作的文本描述。
  • 从这两个简单的来源中,AI可以创建完整的角色动画,这些动画不仅可以使唇部动作与语音同步,还包括自然的身体运动,面部表情和适合内容的手势。

    congwei1230.github.io/mocha

    您可以在此视频中看到Meta Mocha令人印象深刻的动画的示例:Meta Mocha AI动画演示

    Meta Mocha AI动画演示

    更多信息:

    摩卡: