摘要 — 人机交互中的手势识别是人工智能和计算机视觉领域的一个活跃研究领域。为了估计现实环境中的手势识别性能,我们收集了考虑到杂乱背景、机器人的各种姿势和运动的手势数据,然后评估机器人的性能。这涉及骨架跟踪,其中骨架数据是由通过 Microsoft Kinect 传感器获得的深度图像生成的。Kinect 捕获 3D 空间中的人体手势,并由机器人处理和复制。Arduino 控制器用于控制机器人的运动,它将来自 Kinect 传感器的关节角度输入并将其反馈给机器人电路,从而控制机器人的动作。手势识别研究的主要目标是创建一个可以识别特定人体手势并将其用于设备控制的系统。手势控制机器人将在未来节省大量的劳动力成本。这种机器人的基本优势是它具有成本效益并且不需要远程控制。
1.2 Benefits .......................................................................................................................................... 9
机器人技术取得了重大进展,使机器人能够自主规划路线[1]并在医学上与人类互动[2],教育[3]和救援行动[4]。通过语音和手势控制机器人是最自然的互动方式[5],因为人类每天使用这些方法。使用手势的控制可以使用视觉传感器[6],肌电图方法(跟踪人体肌肉收缩[7]),采用触摸屏,加速度计或其他传感器[8]来实现。本文概述了使用Kinect传感器在机器人技术中的手势控制实现。kinect最初是用于游戏的Microsoft运动控制器,它使用计算机视觉方法进行基于手势的控制。后来Microsoft启用了使用软件开发套件的自定义应用程序开发[9]。本研究总结了有关机器人技术中Microsoft Kinect使用的信息,比较了不同的手势识别方法的准确性,并强调了Kinect在各种任务中的潜伏期。
分析人类运动是一个活跃的研究领域,具有各种应用。在这项工作中,我们使用机器人教练系统进行身体康复的背景下关注人类运动分析。计算机辅助评估的体育康复评估需要评估患者绩效,以完成基于用感官系统捕获的处理运动数据(例如RGB和RGB-D摄像机)完成规定的Reha-BiLitation练习。作为RGB图像的2D和3D人姿势估计取得了极大的改进,我们旨在使用从RGB-D摄像头(Microsoft Kinect)获得的运动数据和RGB视频(OpenPose和Blazepose算法)进行比较进行体育康复练习的评估。从位置(和方向)特征采用了高斯混合模型(GMM),其性能指标基于GMM的对数可能性值定义。评估是在临床患者的医学数据库上进行的,该数据库进行了较低的背痛康复运动,以前由机器人罂粟指导。
人工智能(AI),深度学习,智能无人机,智能运输系统(ITS),强化学习(RL),神经建筑搜索(NAS),车辆品牌和模型识别,基于KINECT - 基于Kinect的在线手写识别系统,人员计数,行为分析,车牌检测和识别系统
中风是由脑血管病变引起的急性局灶性局灶性神经功能障碍,成为全球死亡的第一个原因,也是幸存者残疾的第三个原因,运动和认知改变,例如半倍,痉挛,痉挛,肌肉无力和损失平衡。 div>基于虚拟现实的主动游戏已被用作前庭疾病,平衡和中风的改变。 div>Xbox 360/kinect是一种使用相机来启用游戏体验而无需物理控制器的设备,可以通过视觉刺激诱导认知决策。 div>这篇综述的目的是分析Xbox/Kinect对幸存的中风患者的平衡,运动功能,功能状态和肌肉张力的康复的影响。 div>本综述遵循Prism指南的方法论过程。 div>从PubMed Scientific数据库,Scopus,Pedro中选择10项研究。 div>四项研究的主要结果接近了列出的三个变量。 div>但是,在大多数研究中,Xbox/Kinect干预对运动功能的影响随后是平衡。 div>总之,Xbox/Kinect是一种互补的创新方法,不能取代其他物理治疗方式,可以提高患者对治疗的依从性,从而通过重复性活动来优化神经可塑性。 div>关键字:老年人,中风,锻炼视频游戏,虚拟现实,捕获运动。 div>
II。 文献调查1。 具有Kinect传感器的强大手识别:在拟议的系统中,使用Kinect传感器的深度和颜色信息来检测手的形状。 用于手势识别,使用Kinect传感器是一个困难的问题。 这种Kinect传感器的分辨率仅为640×480。 它可以很好地跟踪大物体,例如人体。 ,但是像手指一样小的东西很复杂。 [5] 2。 LED拟合的手指运动:它提出了一种将LED安装在用户手指上的方法,并使用网络摄像头跟踪手指。 将绘制的字符与数据库中存在的字符进行比较。 它返回与绘制模式匹配的所有字母。 它需要一个尖的红色LED灯源,该灯光源连接到手指上。 另外,假设网络摄像头的焦点中没有LED灯以外没有其他红色对象。 [3] 3。 增强的桌面接口:在增强的分段桌面接口方法中,提出了用于交互的方法。 此系统使用投影仪和带电的设备(CCD)摄像头供您使用指尖;用户可以使用桌面应用程序。 在此系统中,每个部分执行每个独特的任务。 左手用于选择径向菜单,而右手则用于选择进行操作的对象。 他通过使用红外相机来实现这一目标。 确定指尖在计算上是昂贵的,因此该系统定义了指尖的搜索窗口。 [4] 4。 5。 [1] 6。II。文献调查1。具有Kinect传感器的强大手识别:在拟议的系统中,使用Kinect传感器的深度和颜色信息来检测手的形状。用于手势识别,使用Kinect传感器是一个困难的问题。这种Kinect传感器的分辨率仅为640×480。它可以很好地跟踪大物体,例如人体。,但是像手指一样小的东西很复杂。[5] 2。LED拟合的手指运动:它提出了一种将LED安装在用户手指上的方法,并使用网络摄像头跟踪手指。将绘制的字符与数据库中存在的字符进行比较。它返回与绘制模式匹配的所有字母。它需要一个尖的红色LED灯源,该灯光源连接到手指上。另外,假设网络摄像头的焦点中没有LED灯以外没有其他红色对象。[3] 3。增强的桌面接口:在增强的分段桌面接口方法中,提出了用于交互的方法。此系统使用投影仪和带电的设备(CCD)摄像头供您使用指尖;用户可以使用桌面应用程序。在此系统中,每个部分执行每个独特的任务。左手用于选择径向菜单,而右手则用于选择进行操作的对象。他通过使用红外相机来实现这一目标。确定指尖在计算上是昂贵的,因此该系统定义了指尖的搜索窗口。[4] 4。5。[1] 6。带有空气鼠标的系统:带有一些传感器的设备,可以用手指磨损为空气鼠标。空气鼠标确实可以用作鼠标,以便为系统提供各种输入,而在屏幕前的空气中,空气鼠标的工作只有差异。它包含有助于为系统提供所需输入的传感器。某些手动作,例如抓取,保持手垂直的动作用于执行与真实鼠标相同的选择,拖动或滚动等动作。计算机视觉和图像理解:在本文中,Yang等人讨论了将图像序列与模型匹配的问题的替代解决方案,并且此问题通常发生在手势识别中。他们提出的方法不依赖肤色模型,并且也可以处理不良的分割。他们使用中间分组过程将两个分割过程与识别结合在一起。ACM Siggraph关于计算机动画的研讨会:在本文中,Wang等人讨论了室内和室外环境的基于颜色的运动捕获系统。在他们建议的方法中,他们使用了网络摄像头和彩色衬衫来跟踪对象。他们提出的方法结果表明,所提出的方法可用于虚拟现实应用程序。[2]
generative programming (Processing, p5js, GLSL, openFrameworks) data visualization (D3.js, THREE.js) web development (HTML, CSS, JavaScript, React) audiovisual exhibition and performance (TouchDesigner, PureData, Python, C++, Premiere, Kinect) 3D animation (Blender, Maya) 2D animation (TVPaint)电子(Arduino,Bela)编程(C,C ++,C#,Python,Java,JavaScript)图形设计(Photoshop,Indesign)
V. 实验和结果分析 ................................................................................33 A.实验设计......................................................................................33 1.受试者 ................................................................................................33 2.地点 ................................................................................................33 3.进行实验 ......................................................................................34 4.假设 ................................................................................................34 B.结果 ......................................................................................................36 1.可用性研究 ................................................................................36 2.任务后评分 ................................................................................38 3.任务后信心 ................................................................................41 C. 讨论 .............................................................................................................46 1.调查数据结果......................................................................46 2.调查数据的可靠性......................................................................47 3.Kinect 可靠性.............................................................................48 4.学员信心....................................................................................49
V. 实验和结果分析 ................................................................................33 A.实验设计......................................................................................33 1.受试者 ................................................................................................33 2.地点 ................................................................................................33 3.进行实验 ......................................................................................34 4.假设 ................................................................................................34 B.结果 ......................................................................................................36 1.可用性研究 ................................................................................36 2.任务后评分 ................................................................................38 3.任务后信心 ................................................................................41 C. 讨论 .............................................................................................................46 1.调查数据结果......................................................................46 2.调查数据的可靠性......................................................................47 3.Kinect 可靠性.............................................................................48 4.学员信心....................................................................................49