1 Institute for Advanced Consciousness Studies, Santa Monica, CA, United States, 2 Media Lab, Massachusetts Institute of Technology, Cambridge, MA, United States, 3 Emlyon Business School, Ecully, France, 4 Independent Developer, Paris, France, 5 Aura Healthcare, Paris, France, 6 Centre for Research and Interdisciplinarity, University of Paris, Paris, France, 7 Centre for Philosophy of Science,里斯本大学,里斯本大学科学学院,葡萄牙8,认知神经科学研究所,伦敦大学学院,伦敦大学,英国,计算与传播学院,开放大学9号计算机与通讯学院,英国爱丁堡,英国爱丁堡,人类自然,人工智能和神经科学中心10法国BobignyUniversité,Bobigny,ParisCité大学12号,Inserm,UMR-S 1266,精神病学研究所和巴黎神经科学研究所,Inserm U1266,巴黎,法国,法国
项目文档第 1 组 II 目录 1. 执行摘要 1 2. 项目描述和背景 2 2.2. 动机 3 2.3. 目标和目的 4 2.4. 要求和规范 5 2.5. 框图 7 3. 相关项目研究 9 3.1. 自动售货机和相关技术 9 3.2. 光学元件 12 3.3. 电子元件 20 3.4. 软件相关组件 41 3.5. 机器学习 52 3.6. 其他感兴趣的组件 61 4. 项目标准和设计 67 4.1. 硬件标准和约束 67 4.2. 软件标准和约束 70 5. ChatGPT 和类似算法 81 5.1. ChatGPT 81 5.2. 类似算法 84 6. 硬件设计 86 6.1.电源子系统 86 6.2. ESP-WROOM-32 88 6.3. GPIO 外设 90 6.4. 完整原理图 95 6.5. 外壳设计 96 7. 软件设计 97 7.1. ESP32-WROOM-32 97 7.2. LED 软件设计 98 7.3. 前置红外传感器设计 98 7.4. LCD 设计 99 7.5. 风扇系统设计 101 7.6. 物体检测设计 102 8. 光学设计 106 8.1. 摄像头镜头系统设计 106 8.2. 红外系统设计 112 9. 测试和质量保证 114 10. 管理内容 121 10.1. 里程碑 121 10.2. 物料清单 122 11. 结论 124
摘要 — 人机交互中的手势识别是人工智能和计算机视觉领域的一个活跃研究领域。为了估计现实环境中的手势识别性能,我们收集了考虑到杂乱背景、机器人的各种姿势和运动的手势数据,然后评估机器人的性能。这涉及骨架跟踪,其中骨架数据是由通过 Microsoft Kinect 传感器获得的深度图像生成的。Kinect 捕获 3D 空间中的人体手势,并由机器人处理和复制。Arduino 控制器用于控制机器人的运动,它将来自 Kinect 传感器的关节角度输入并将其反馈给机器人电路,从而控制机器人的动作。手势识别研究的主要目标是创建一个可以识别特定人体手势并将其用于设备控制的系统。手势控制机器人将在未来节省大量的劳动力成本。这种机器人的基本优势是它具有成本效益并且不需要远程控制。
摘要 — 通过技术手段进行手臂和手部跟踪可以收集可用于确定手势含义的数据。为此,机器学习算法主要被研究以寻求最高识别率和最短识别时间之间的平衡。然而,这种平衡主要来自统计模型,而统计模型很难解释。相反,我们提出了 µC 1 和 µC 2 ,这两种基于几何模型的手势识别方法支持识别过程的可视化和几何解释。我们将 µC 1 和 µC 2 与两种经典机器学习算法 k-NN 和 SVM 以及两种最先进的深度学习模型 BiLSTM 和 GRU 进行比较,实验数据集包含意大利手语 (LIS) 中的十个手势类别,每个手势类别由五名缺乏经验的非母语手语者重复 100 次,并使用可穿戴技术(传感手套和惯性测量单元)收集。结果,我们在高识别率(> 90%)和低识别时间(< 0 .1 秒)之间取得了折衷,这足以实现人机交互。此外,我们基于几何代数详细阐述了算法的几何解释,这有助于理解识别过程。
在当今快节奏的世界中,技术在使演讲更具动态和互动性方面起着至关重要的作用。传统的控制演示文稿(例如使用键盘,鼠标或点击器)有时会阻碍扬声器的流程和受众参与度。为了解决这个问题,我们提出了一个基于手势和语音的演示控制器,该系统允许演示者通过手势和语音命令轻松控制幻灯片。这种创新的解决方案利用机器学习和自然语言处理的进步来创建演示者及其内容之间的无缝接口。通过消除对物理设备的需求,该系统不仅可以提高可访问性,还可以增强整体演示体验。是通过简单的手浪移动到下一个幻灯片还是通过口语命令激活钥匙函数,我们的方法会改变演示文稿的方式。
Sivakasi的P.S.R工程学院。 摘要:手势识别对于在人类计算机互动(HCI)领域的业务4.0技术的发展被认为很重要;它允许计算机捕获和解释手势以执行命令而无需物理触摸设备。 媒体管道提供了预先训练的手模型,用于在实时视频流中提取重要的符号和手势特征。 这些核心功能提供了对专有机器学习模型的访问权限。 OpenCV(开源计算机视觉库)是一个开源计算机视觉和机器学习库。 它为与计算机视觉,图像处理和视频分析有关的各种任务提供了各种工具,功能和算法。 通过手势识别,媒体管道和OPENCV的整合为人类计算机相互作用的重大进步铺平了道路。 该项目探讨了这种新技术的使用来实现对人类运动的快速翻译和响应。 手势识别具有广泛的激动人心的应用程序,从提高可访问性到改变游戏体验和互动体验。 1。 在人类计算机互动的不断发展的景观中引言,理解和反应手势的能力是一个非凡的边界。 手势识别提供了人类与技术之间的无缝和直观的沟通方式。 它不仅可以增强可访问性,而且还可以为一系列应用程序打开门,从虚拟鼠标控制到交互式游戏体验。Sivakasi的P.S.R工程学院。摘要:手势识别对于在人类计算机互动(HCI)领域的业务4.0技术的发展被认为很重要;它允许计算机捕获和解释手势以执行命令而无需物理触摸设备。媒体管道提供了预先训练的手模型,用于在实时视频流中提取重要的符号和手势特征。这些核心功能提供了对专有机器学习模型的访问权限。OpenCV(开源计算机视觉库)是一个开源计算机视觉和机器学习库。它为与计算机视觉,图像处理和视频分析有关的各种任务提供了各种工具,功能和算法。通过手势识别,媒体管道和OPENCV的整合为人类计算机相互作用的重大进步铺平了道路。该项目探讨了这种新技术的使用来实现对人类运动的快速翻译和响应。手势识别具有广泛的激动人心的应用程序,从提高可访问性到改变游戏体验和互动体验。1。在人类计算机互动的不断发展的景观中引言,理解和反应手势的能力是一个非凡的边界。手势识别提供了人类与技术之间的无缝和直观的沟通方式。它不仅可以增强可访问性,而且还可以为一系列应用程序打开门,从虚拟鼠标控制到交互式游戏体验。手势识别是一个引人入胜且迅速前进的计算机视觉和人类计算机互动(HCI),重点介绍了手工运动和计算机系统的解释和理解。计算机能够识别并响应用户做出的手势,该手势用于与系统交互。手势识别是一种使计算机解释和理解人类手势和手势的技术,
摘要 - 在高分辨率事件摄像机的能力驱动的基于事件的视觉中的突破,具有显着改善的人类机器人相互作用。事件摄像机在管理动态范围和运动模糊方面表现出色,无缝适应各种环境条件。本文提出的研究利用这项技术开发了能够解释手势进行精确机器人控制的直觉机器人指导系统。我们介绍了“ Eb Handgesture”数据集,这是一种与我们的网络“ Convrnn”结合使用的创新高分辨率手势数据集,以在解释任务中证明95.7%的值得称赞的精度,涵盖了不同照明场景中的六种手势类型。为了验证我们的框架,使用ARI机器人进行了现实生活实验,从而确认了在各种相互作用过程中训练有素的网络的有效性。这项研究代表了确保共享工作空间中更安全,更可靠,更有效的人类机器人协作的实质性飞跃。索引术语 - 基于现实的手势识别,机器人控制,手势数据集
ⅰ。简介该项目使用计算机视觉来实现手势识别和指尖检测,引入AI驱动的虚拟鼠标系统,从而实现直观的计算机交互。在良性和无线技术普遍存在的景观中,该系统提供了一种简化的计算方法。手势识别系统已成为一种杰出的技术,取代了传统的机械通信方法。本文根据技术,类型,应用,产品,用法和地理位置等各种因素来描述域市场的细分。手势识别系统的扩散涵盖了各种应用程序,包括虚拟控制器,虚拟小鼠,智能电视,沉浸式游戏技术,辅助机器人技术和手语识别。值得注意的是,尽管存在大量解决方案,但只有少数人直接利用网络摄像头来识别手势。大多数人依赖于Arduino和基于传感器的方法。然而,挑战仍然存在,尤其是在背景环境中包含类似人皮肤的组成部分的情况下,可能导致动作的误解。另外,确保手保持在允许范围内的构成重大约束。本文提供了手势识别系统的全面概述,强调了进步,应用程序和相关挑战,从而为该领域的未来研究和发展努力提供了见解。
印度迈索尔 Vidhyavardhaka 工程学院计算机科学系助理教授 5 摘要:目前已经存在许多手势识别系统,但在许多系统中,用户必须记住许多不同的手势符号,这使得识别变得非常困难。在本文中,我们仔细研究了人工智能在医疗保健领域的贡献,开发了一种使用手势与计算机通信的系统,该系统在技术上具有重要意义,也有助于视障人士。基于人工智能的空中手势键盘是一种包括空中书写的模型,它对于不允许用户在键盘上打字的用户界面特别有用。该系统使用与加速度计接口的 Arduino 板。它具有组合程序结构,可根据需要识别字母和数字。该模型维护一个数据集,以便以不同的方式实现每个手势,系统使用相同的手势进行多次训练以识别。然后可以分配此手势在计算机上执行任务,并使用算法从用户那里挑选输入。关键词:手势、人工智能、arduino、MPU6050。
手势和手势识别是人机交互讨论中越来越多遇到的术语。对于许多人(如果不是大多数人)来说,该术语包括字符识别、校对员符号识别、速记以及上一章“标记界面”中描述的所有类型的交互。事实上,每个身体动作都涉及某种手势才能表达出来。此外,手势的性质通常是确定动作感觉质量的重要组成部分。尽管如此,我们想在本章中单独讨论的是手势是表达和识别的交互,而不是通过传感器表达某种东西的结果。因此,我们使用 Kurtenbach 和 Hulteen (1990) 阐明的手势定义: