随着技术的进步,机器人越来越多地进入我们的社会,在教育中找到使用[1] [6],治疗[4] [3],娱乐[21]和其他领域。在人类互动和人类机器人互动(HRI)领域中,语音是最友好,最自然的交流方式[20],它促进了清晰而对话的交流,而语气和情感的表现力则有助于更具吸引力的互动[2]。同时,手势是人类通讯的组成部分,当机器人可以进行基于手势的通信时,它会增强人类与机器人之间的自然性和融洽关系[24] [22]。手势提供了视觉维度,补充语音以传达信息[9],表达情绪[8]和指导动作[10],使机器人更像人性化和引人入胜[19]。共同创造了更直观和相关的HRI体验。然而,当聋人在场时,言语和手势可能被证明是无效的交流手段。gibson [5]说明,在一个感觉系统中遇到损害的个体通常会提高替代感官渠道作为补偿机制的熟练程度。这种现象被称为感觉补偿,这意味着耳聋的人可能表现出视觉和触觉方式的灵敏度提高。在许多国家 /地区,手语是听力损失的人的第一语言[11]。因此,在同时聋哑人或听力障碍和非聋子的情况下,可以以自然语言进行交流的机器人具有重要意义。它可以帮助弥合那些主要使用口语语言的人与依靠手语的人之间的沟通差距,使每个人都可以有效地互动并参与各种社会,教育和专业背景。本文介绍了一项初步研究,旨在在胡椒机器人的平板电脑上展示带有手语和字幕的化身,同时使胡椒能够说出带有伴随的手势的自然语言,因为机器人的自由度限制了我们直接使用它的手语言。机器人通信系统的多模式性质可确保它可以满足不同的受众群体的需求,从而适应手语用户和熟练口语的个人。
主要关键词