人体姿势识别的机器学习实验(+视频)

Move Mirror 将镜头前的动作与数百张姿势相似的人的图像进行匹配。许多 11 岁的孩子会欢迎这个想法,特别是如果它可以替代学习外语动词的家庭作业。

来源:Robogeek新闻频道(关于机器人技术的俄罗斯与世界新闻)

Move Mirror 将镜头前的动作与数百张姿势相似的人的图像进行匹配。许多 11 岁的孩子会欢迎这个想法,特别是如果它可以替代学习外语动词的家庭作业。

“它就像一面魔镜,用所有类型的人类运动图像反映您的动作 - 从体育和舞蹈到武术、表演和其他活动,”研究人员说。 “在包含数万张照片的数据库中搜索与你的姿势相对应的图像。”

Google 创意实验室的创意技术专家 Irene Alvarado 表示:“通过 Move Mirror,我们向任何拥有计算机和网络摄像头的人展示了如何使用可以估计姿势的计算机视觉技术。我们还希望通过将姿势估计引入浏览器,让程序员和开发人员更容易使用机器学习,并希望激励人们尝试这项技术。”

Move Mirror 项目由 PoseNet 和 TensorFlow.js 提供支持。后者作为设备上的机器学习模型库直接在浏览器中运行,而不是在远程服务器上。

首先声明对保密性的关注。在此实验中,当人与 Move Mirror 交互时,图像不会发送到 Google 服务器。

图像识别在浏览器本地执行。

图片如何匹配?移动镜像使用姿势信息来查找匹配图像。它考虑了 17 个身体部位,如右肩、左脚踝、右臀部和鼻子。 Move Mirror 不考虑种族、性别、身高或体型。

PoseNet“通过分析和总结照片或视频中的不同身体部位来识别一个人的大致位置。您的位置会被实时分析并与一组 80,000 张照片进行比较。 Move Mirror 会显示与每个项目最接近的匹配项,并将它们以幻灯片形式串在一起。”