项目文档第 1 组 II 目录 1. 执行摘要 1 2. 项目描述和背景 2 2.2. 动机 3 2.3. 目标和目的 4 2.4. 要求和规范 5 2.5. 框图 7 3. 相关项目研究 9 3.1. 自动售货机和相关技术 9 3.2. 光学元件 12 3.3. 电子元件 20 3.4. 软件相关组件 41 3.5. 机器学习 52 3.6. 其他感兴趣的组件 61 4. 项目标准和设计 67 4.1. 硬件标准和约束 67 4.2. 软件标准和约束 70 5. ChatGPT 和类似算法 81 5.1. ChatGPT 81 5.2. 类似算法 84 6. 硬件设计 86 6.1.电源子系统 86 6.2. ESP-WROOM-32 88 6.3. GPIO 外设 90 6.4. 完整原理图 95 6.5. 外壳设计 96 7. 软件设计 97 7.1. ESP32-WROOM-32 97 7.2. LED 软件设计 98 7.3. 前置红外传感器设计 98 7.4. LCD 设计 99 7.5. 风扇系统设计 101 7.6. 物体检测设计 102 8. 光学设计 106 8.1. 摄像头镜头系统设计 106 8.2. 红外系统设计 112 9. 测试和质量保证 114 10. 管理内容 121 10.1. 里程碑 121 10.2. 物料清单 122 11. 结论 124
摘要——一种称为手势控制轮椅 (HGCW) 系统的新辅助技术旨在帮助行动不便的人提高独立性和机动性。该系统由一个可穿戴设备组成,该设备带有可检测手部运动的传感器,以及用于实时数据处理和轮椅控制的 Arduino 微控制器。HGCW 系统使用手势识别算法将手势转换为相应的轮椅运动,例如向前、向后、向左和向右转,并与轮椅的控制单元进行无线通信。该系统具有成本效益、可定制和直观的特点,可供广泛的用户使用。HGCW 系统有可能彻底改变残疾人士在环境中导航的方式,使他们能够过上更加独立和充实的生活。通过改变头部运动,数据被无线发送到基于微控制器的电机驱动电路,以五种不同的模式控制椅子的旋转:向前、向后、向右、向左和特殊站立锁定。所提出的系统是使用从当地市场采购的产品组装的,并在实验室中测试了其性能,测试结果包含在本文中。
摘要 — 通过技术手段进行手臂和手部跟踪可以收集可用于确定手势含义的数据。为此,机器学习算法主要被研究以寻求最高识别率和最短识别时间之间的平衡。然而,这种平衡主要来自统计模型,而统计模型很难解释。相反,我们提出了 µC 1 和 µC 2 ,这两种基于几何模型的手势识别方法支持识别过程的可视化和几何解释。我们将 µC 1 和 µC 2 与两种经典机器学习算法 k-NN 和 SVM 以及两种最先进的深度学习模型 BiLSTM 和 GRU 进行比较,实验数据集包含意大利手语 (LIS) 中的十个手势类别,每个手势类别由五名缺乏经验的非母语手语者重复 100 次,并使用可穿戴技术(传感手套和惯性测量单元)收集。结果,我们在高识别率(> 90%)和低识别时间(< 0 .1 秒)之间取得了折衷,这足以实现人机交互。此外,我们基于几何代数详细阐述了算法的几何解释,这有助于理解识别过程。
摘要摘要本文献和研究评论的目的是更好地了解手语的使用以及对儿童在幼儿时期儿童的重要性。孩子,即使是最早的年龄,也开始了与人及其周围环境有效沟通的过程。交流的开头形式起源于身体运动的形式,也称为手势。手语自16世纪以来一直存在于记录的历史中,其第一批书面记录始于17世纪。手语最广泛地与有听力或语音障碍的个人以及与有听力问题的人进行沟通的人。与幼儿一起工作时,可以使用美国手语(ASL),或者适应ASL有时称为婴儿标志。有人猜测ASL或婴儿标志如何为与幼儿沟通提供更多的联系和渠道。有些人认为,以ASL或婴儿标志形式的手语合并会导致幼儿在发展其言语技能和词汇方面受到抑制。本文献综述试图回答有关在幼儿幼儿时使用手势和手语的五个问题,以及将手语纳入年轻的幼儿环境中是否是对这种环境中儿童的好处或障碍。
在当今快节奏的世界中,技术在使演讲更具动态和互动性方面起着至关重要的作用。传统的控制演示文稿(例如使用键盘,鼠标或点击器)有时会阻碍扬声器的流程和受众参与度。为了解决这个问题,我们提出了一个基于手势和语音的演示控制器,该系统允许演示者通过手势和语音命令轻松控制幻灯片。这种创新的解决方案利用机器学习和自然语言处理的进步来创建演示者及其内容之间的无缝接口。通过消除对物理设备的需求,该系统不仅可以提高可访问性,还可以增强整体演示体验。是通过简单的手浪移动到下一个幻灯片还是通过口语命令激活钥匙函数,我们的方法会改变演示文稿的方式。
ⅰ。简介该项目使用计算机视觉来实现手势识别和指尖检测,引入AI驱动的虚拟鼠标系统,从而实现直观的计算机交互。在良性和无线技术普遍存在的景观中,该系统提供了一种简化的计算方法。手势识别系统已成为一种杰出的技术,取代了传统的机械通信方法。本文根据技术,类型,应用,产品,用法和地理位置等各种因素来描述域市场的细分。手势识别系统的扩散涵盖了各种应用程序,包括虚拟控制器,虚拟小鼠,智能电视,沉浸式游戏技术,辅助机器人技术和手语识别。值得注意的是,尽管存在大量解决方案,但只有少数人直接利用网络摄像头来识别手势。大多数人依赖于Arduino和基于传感器的方法。然而,挑战仍然存在,尤其是在背景环境中包含类似人皮肤的组成部分的情况下,可能导致动作的误解。另外,确保手保持在允许范围内的构成重大约束。本文提供了手势识别系统的全面概述,强调了进步,应用程序和相关挑战,从而为该领域的未来研究和发展努力提供了见解。
1 Institute for Advanced Consciousness Studies, Santa Monica, CA, United States, 2 Media Lab, Massachusetts Institute of Technology, Cambridge, MA, United States, 3 Emlyon Business School, Ecully, France, 4 Independent Developer, Paris, France, 5 Aura Healthcare, Paris, France, 6 Centre for Research and Interdisciplinarity, University of Paris, Paris, France, 7 Centre for Philosophy of Science,里斯本大学,里斯本大学科学学院,葡萄牙8,认知神经科学研究所,伦敦大学学院,伦敦大学,英国,计算与传播学院,开放大学9号计算机与通讯学院,英国爱丁堡,英国爱丁堡,人类自然,人工智能和神经科学中心10法国BobignyUniversité,Bobigny,ParisCité大学12号,Inserm,UMR-S 1266,精神病学研究所和巴黎神经科学研究所,Inserm U1266,巴黎,法国,法国
机器人技术取得了重大进展,使机器人能够自主规划路线[1]并在医学上与人类互动[2],教育[3]和救援行动[4]。通过语音和手势控制机器人是最自然的互动方式[5],因为人类每天使用这些方法。使用手势的控制可以使用视觉传感器[6],肌电图方法(跟踪人体肌肉收缩[7]),采用触摸屏,加速度计或其他传感器[8]来实现。本文概述了使用Kinect传感器在机器人技术中的手势控制实现。kinect最初是用于游戏的Microsoft运动控制器,它使用计算机视觉方法进行基于手势的控制。后来Microsoft启用了使用软件开发套件的自定义应用程序开发[9]。本研究总结了有关机器人技术中Microsoft Kinect使用的信息,比较了不同的手势识别方法的准确性,并强调了Kinect在各种任务中的潜伏期。
摘要 — 通过技术手段进行手臂和手部跟踪可以收集可用于确定手势含义的数据。为此,机器学习算法主要被研究以寻找最高识别率和最短识别时间之间的平衡。然而,这种平衡主要来自于统计模型,而统计模型很难解释。与此相反,我们提出了 µC 1 和 µC 2,两种基于几何模型的手势识别方法,支持识别过程的可视化和几何解释。我们将 µC 1 和 µC 2 与两种经典机器学习算法 k-NN 和 SVM 以及两种最先进的深度学习模型 BiLSTM 和 GRU 进行比较,实验数据集包含意大利手语 (LIS) 的十个手势类别,每个类别由五名没有经验的非母语手语者重复 100 次,并通过可穿戴技术(传感手套和惯性测量单元)收集。最终,我们在高识别率(> 90%)和低识别时间(< 0.1 秒)之间实现了折衷,这足以满足人机交互的需要。此外,我们基于几何代数详细阐述了算法的几何解释,这有助于对识别过程有所理解。
印度迈索尔 Vidhyavardhaka 工程学院计算机科学系助理教授 5 摘要:目前已经存在许多手势识别系统,但在许多系统中,用户必须记住许多不同的手势符号,这使得识别变得非常困难。在本文中,我们仔细研究了人工智能在医疗保健领域的贡献,开发了一种使用手势与计算机通信的系统,该系统在技术上具有重要意义,也有助于视障人士。基于人工智能的空中手势键盘是一种包括空中书写的模型,它对于不允许用户在键盘上打字的用户界面特别有用。该系统使用与加速度计接口的 Arduino 板。它具有组合程序结构,可根据需要识别字母和数字。该模型维护一个数据集,以便以不同的方式实现每个手势,系统使用相同的手势进行多次训练以识别。然后可以分配此手势在计算机上执行任务,并使用算法从用户那里挑选输入。关键词:手势、人工智能、arduino、MPU6050。