计算机已经学会更好地读唇语

球迷们永远不会忘记法国著名足球运动员齐达内在2006年世界杯决赛中的头球。齐达内在言语争执后对意大利球员马尔科·马特拉齐进行攻击,导致红牌。齐达内被罚下,这让意大利队争夺冠军头衔变得更加容易。后来马特拉齐对齐达内说了脏话的消息传出。

来源:Robogeek新闻频道(关于机器人技术的俄罗斯与世界新闻)

球迷们永远不会忘记法国著名足球运动员齐达内在2006年世界杯决赛中的头球。齐达内在言语争执后对意大利球员马尔科·马特拉齐进行攻击,导致红牌。齐达内被罚下,这让意大利队争夺冠军头衔变得更加容易。后来马特拉齐对齐达内说了脏话的消息传出。

“如果当时的唇读技术很先进,齐达内的反应就可以理解,两名球员都可能被罚下场,”东安格利亚诺维奇大学的科学家海伦·贝尔说。 “也许比赛的结果会有所不同。”

Bear 和她的同事 Richard Harvey 开发了一种新的唇读算法,可以提高计算机区分嘴唇上看起来相同的声音的能力。研究人员在上海举行的国际声学和语音信号处理会议(ICASSP)上展示了他们的工作。

当然,能够可靠地读取唇语的机器不仅仅可以用于运动。贝尔说,它可以用来解决犯罪问题或分析汽车和飞机事故后的记录材料。它可以帮助失去听力的人。对于他们来说,学习读唇语并不像先天性听力损失的人那么容易。它还可以用于改进电影配音过程。

唇读或视觉语音识别涉及识别嘴唇的形状,然后从中再现单词。这是一项比如今已变得司空见惯的语音识别技术更复杂的任务。这里的重点是,嘴唇有 10 到 14 种不同的形状,称为视位,而语音则使用 50 种不同的声音,称为音素。此外,一个视素可以对应多个音素。