人工智能如何使手语识别比以往更加精确

当我们考虑打破沟通障碍时,我们通常会关注语言翻译应用程序或语音助手。但对于数百万使用手语的人来说,这些工具并没有完全弥补差距。手语不仅仅是手势——它是一种丰富、复杂的交流形式,包括面部表情和 […] 这篇文章《人工智能如何使手语识别比以往更精确》首先出现在 Unite.AI 上。

来源:Unite.AI

当我们考虑打破沟通障碍时,我们经常关注语言翻译应用程序或语音助手。但对于数百万使用手语的人来说,这些工具并没有完全弥合差距。手语不仅仅是手势——它是一种丰富、复杂的交流形式,包括面部表情和肢体语言,每个元素都具有重要意义。

语言翻译应用程序

这正是使这项工作特别具有挑战性的原因:与主要在词汇和语法上有所不同的口语不同,世界各地的手语在传达含义的方式上存在根本差异。例如,美国手语 (ASL) 有自己独特的语法和句法,与口语英语不符。

这种复杂性意味着,要创建实时识别和翻译手语的技术,需要了解整个语言系统。

识别的新方法

佛罗里达大西洋大学 (FAU) 工程与计算机科学学院的一个团队决定采用一种新方法。他们没有试图一次性解决手语的所有复杂性,而是专注于掌握关键的第一步:通过人工智能以前所未有的准确度识别 ASL 字母手势。

可以将其想象成教计算机阅读手写内容,但采用三维和动态方式。该团队构建了一个非凡的东西:一个包含 29,820 张静态图像的数据集,显示 ASL 手势。但他们不只是收集图片。他们在每张图片上标记了手上的 21 个关键点,创建了手如何移动和形成不同手势的详细地图。

领导这项研究的博士候选人 Bader Alsharif 博士解释说:“这种方法在之前的研究中尚未被探索过,这使其成为未来进步的一个新且有希望的方向。”

这项研究

分解技术

让我们深入了解使该手语识别系统发挥作用的技术组合。

MediaPipe 和 YOLOv8

手部检测阶段