基于fantasytaling-ai的唇同步

FantasyTaling是一个由Fantasy-Amap团队开发的研究项目,致力于通过将高级唇部同步与自然的身体运动相结合来创建类似于现实的肖像。与许多其他仅着眼于与声音同步的唇部动作的解决方案不同,幻想谈话采用了整体方法,并在整个身体和背景中创造了连贯的运动。 […]基于FantasyTaling-ai的文章首次出现在AI新闻上。

来源:AI新闻
FantasyTaling是一个由Fantasy-Amap团队开发的研究项目,致力于通过将高级唇部同步与自然的身体运动相结合来创建类似于现实的肖像。与许多其他仅着眼于与声音同步的唇部运动的解决方案不同,FantasyTaling采用了整体方法,并在整个身体和背景中创造了连贯的运动。幻想谈话的最大优势是它可以使用单个静态肖像作为起点,然后生成一个完全动画的语音版本,该版本与WAN2.1视频数字变压器模型同时保持了该人的身份,以生成非常现实且视觉上连贯的说话肖像。运动强度和幻想交谈最令人兴奋的特征的控制是它调节运动中强度的能力。该项目已经集成了一个特殊的运动强度模块,该模块明确控制表达式和身体运动,该模块可控制肖像运动以外的动作,除了唇部运动。幻想的帮助可以为客户服务,虚拟助理或业务沟通主持人创建个人数字代表。社交媒体和内容创建:内容创建者可以使用该技术创建引人入胜的个人视频,静态图像可以栩栩如生并与观众“交谈”。这些flatfo