我们介绍𝑆3,一种新颖的方法,用于产生表达性,以动画为中心的3D头和对话中角色的眼睛动画。给定语音音频,导演脚本和摄影3D场景作为输入,我们会自动输出每个角色的头和眼睛的动画3D旋转。𝑆3将动画和心理语言的见解提炼成一个新颖的模块化框架,以捕捉对话式捕捉:音频驱动的节奏性头运动;叙事脚本驱动的象征性的头和眼睛手势;以及根据音频驱动的凝视焦点/厌恶和3D视觉场景显着性计算出的凝视轨迹。我们的评估是四个方面:我们针对地面真相数据和基线替代方案进行定量验证算法;我们进行了一项感知研究,表明我们的结果与先前的艺术相比有利。我们介绍了动画仪控制和对3输出的批评的示例;并提出大量引人入胜且多样化的对话凝视动画。
主要关键词