随着技术的快速发展,电子产品每天都在越来越小。现在有无线设备。这项研究提出了一种机制,该机制可能会导致一些将来会塑造HCI(人为计算机相互作用)的小工具。这个想法是使用手势识别来创建虚拟鼠标。目标是用简单的摄像头替换传统或普通的鼠标设备,以控制鼠标光标的功能。仅使用相机,虚拟鼠标可作为用户和计算机之间的管道起作用。它促进了鼠标功能,并允许用户与机器连接,而无需任何物理或机械设备。使用网络摄像头或内置摄像头拿着彩色帽子或彩色粘纸纸,使用这种手势识别技术很有可能记录和跟踪手的指尖。系统将跟踪手的颜色和移动,并与之同时移动光标。通常,我们使用鼠标,键盘或其他交互设备,这些设备主要与计算机计算机紧凑。无线设备还需要电源和连接技术,但是在本文中,用户的裸手是使用网络摄像头的唯一输入选项。因此,这是控制鼠标光标的一种非常互动的方法。使用基于计算机愿景的库OpenCV以Python编程语言实现此系统。该系统有可能替换典型的鼠标和机器的遥控器。唯一的障碍是照明条件。这就是为什么系统仍然不足以替换传统鼠标的原因,因为大多数计算机都在较差的照明条件下使用。
抽象孤立的手语识别(ISLR)的目的是将标志分类为相应的光泽,但由于快速运动和小动手变化,它仍然具有挑战性。基于姿势的方法,由于其对环境的鲁棒性而引起了人们的注意,这对于这种挑战性的运动和变化至关重要,这是由于难以从嘈杂的关键点捕获小的关节运动。在这项工作中,我们强调了预处理关键以减轻此类错误风险的重要性。我们使用锚点采用归一化来准确跟踪骨骼接头的相对运动,重点是手动运动。此外,我们实施双线性插值来重建关键点,特别是为了检索未检测到的手的缺失信息。这项工作中提出的预处理方法表明,通过在WLASL数据集上的数据增强,准确性提高了6.05%,并且在基于姿势的方法中最高的数据增加了准确性83.26%。所提出的方法显示出在手部形状重要性的迹象的情况下,尤其是当某些框架没有被发现的手时。
摘要 — 手势识别对于人机交互 (HCI) 非常重要。与整个人体相比,人的手非常小,连接复杂,因此识别人手并非易事。通过使用手势识别,可以检测到手的点/坐标,从而实现许多不可能的事情。我们的工作表明了这样一个发现,即虚拟画家。在我们的项目中,主要目标是在显示器屏幕上显示我们在网络摄像头前空中书写的文字。这是通过计算机的普通网络摄像头识别人手来实现的,并使用 MediaPipe Python 库检测手势点。使用检测到的手势点存储张开的手指数。当食指和中指张开时,表示处于选择模式,而当只有食指张开时,则处于绘图模式。在选择模式下,我们可以从屏幕上显示的颜色列表中选择要绘制的颜色。绘图模式是将现场在摄像机前书写的内容绘制在监视器屏幕上。这种实现方式可以应用在许多需要立即执行或解释的地方。