这个机器人通过观看 YouTube 上的人类表演学会说话

科学家们创造了一种机器人,它通过观察人类而不是遵循预设规则来学习嘴唇动作。这一突破可以帮助未来的机器人感觉更自然、更具情感吸引力。当人们面对面说话时,令人惊讶的是,很大一部分注意力都集中在嘴唇的运动上。然而,机器人几十年来一直在苦苦挣扎 [...]

来源:SciTech日报

科学家们创造了一种机器人,它通过观察人类而不是遵循预设规则来学习嘴唇动作。这一突破可以帮助未来的机器人感觉更自然、更具情感吸引力。

当人们面对面说话时,惊人的大部分注意力都集中在嘴唇的运动上。然而,几十年来,机器人一直在努力复制这一基本的通信部分。即使是最先进的人形机器也常常依赖于僵硬、夸张的嘴巴动作,如果它们有一张脸的话,感觉就像卡通一样。

人类非常重视面部表情,尤其是嘴巴。笨拙的脚步或笨拙的手部动作很容易被忽视,但即使是面部动作的一个小错误也很快就会引人注目。这种敏感性是研究人员所说的“恐怖谷”的一部分,在这种情况下,机器人看起来令人不安,而不是栩栩如生。嘴唇运动不佳是许多机器人感到冷漠或怪异的一个主要原因,但研究人员表示,这种障碍可能最终会减弱。

学习面部动作的机器人

1 月 15 日,哥伦比亚工程学院的研究人员宣布取得重大进展。他们建造了一个机器人,可以学习如何移动嘴唇来说话和唱歌,而不是依赖预先编程的规则。在《科学机器人》杂志上发表的一项研究中,该团队展示了机器人用多种语言形成单词,甚至演唱了人工智能生成的首张专辑《hello world_》中的一首歌曲。

机器人通过观察而不是指令获得了这种能力。它首先通过观察镜子中的倒影来学习如何控制自己的面部,逐渐了解它的 26 个面部电机如何塑造不同的表情。之后,它研究了几个小时的 YouTube 视频,以观察人类的嘴巴在讲话和唱歌时如何移动。

“它与人类的互动越多,效果就越好,”机械工程系 James 和 Sally Scapa 创新教授兼哥伦比亚大学创意机器实验室主任 Hod Lipson 说道。