摘要 — 通过技术手段进行手臂和手部跟踪可以收集可用于确定手势含义的数据。为此,机器学习算法主要被研究以寻求最高识别率和最短识别时间之间的平衡。然而,这种平衡主要来自统计模型,而统计模型很难解释。相反,我们提出了 µC 1 和 µC 2 ,这两种基于几何模型的手势识别方法支持识别过程的可视化和几何解释。我们将 µC 1 和 µC 2 与两种经典机器学习算法 k-NN 和 SVM 以及两种最先进的深度学习模型 BiLSTM 和 GRU 进行比较,实验数据集包含意大利手语 (LIS) 中的十个手势类别,每个手势类别由五名缺乏经验的非母语手语者重复 100 次,并使用可穿戴技术(传感手套和惯性测量单元)收集。结果,我们在高识别率(> 90%)和低识别时间(< 0 .1 秒)之间取得了折衷,这足以实现人机交互。此外,我们基于几何代数详细阐述了算法的几何解释,这有助于理解识别过程。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周的 12 种手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
1. 本文档中提供的电路、软件和其他相关信息的描述仅用于说明半导体产品和应用示例的操作。您对在产品或系统设计中整合或以其他方式使用电路、软件和信息负全部责任。瑞萨电子对于您或第三方因使用这些电路、软件或信息而遭受的任何损失和损害不承担任何责任。2. 瑞萨电子在此明确声明,对于因使用本文档中描述的瑞萨电子产品或技术信息(包括但不限于产品数据、图纸、图表、程序、算法和应用示例)而导致的侵权或涉及第三方专利、版权或其他知识产权的任何其他索赔,瑞萨电子不承担任何担保和责任。3. 瑞萨电子或其他方的任何专利、版权或其他知识产权均未以明示、暗示或其他方式授予许可。 4. 您应负责确定需要从任何第三方获得哪些许可,并在必要时获得此类许可,以便合法进口、出口、制造、销售、使用、分销或以其他方式处置任何包含瑞萨电子产品的产品。 5. 您不得更改、修改、复制或逆向工程任何瑞萨电子产品,无论是全部还是部分。瑞萨电子对因此类更改、修改、复制或逆向工程而导致您或第三方遭受的任何损失或损害不承担任何责任。 6. 瑞萨电子产品根据以下两个质量等级进行分类:“标准”和“高质量”。每种瑞萨电子产品的预期应用取决于产品的质量等级,如下所示。 “标准”:计算机;办公设备;通信设备;测试和测量设备;视听设备;家用电子设备;机床;个人电子设备;工业机器人;等。 “高质量”:运输设备(汽车、火车、轮船等);交通管制(交通信号灯);大型通信设备;关键金融终端系统;安全控制设备;等。除非在瑞萨电子数据表或其他瑞萨电子文件中明确指定为高可靠性产品或适用于恶劣环境的产品,否则瑞萨电子产品并不旨在或被授权用于可能对人类生命或身体伤害构成直接威胁或人身伤害(人工生命支持设备或系统;手术植入;等)或可能造成严重财产损失(空间系统;海底中继器;核电控制系统;飞机控制系统;关键工厂系统;军事装备;等)的产品或系统。瑞萨电子不承担因您或任何第三方使用与瑞萨电子数据表、用户手册或其他瑞萨电子文档不一致的瑞萨电子产品而造成的任何损害或损失的任何责任。7. 任何半导体产品都不是绝对安全的。尽管瑞萨电子硬件或软件产品中可能实施了任何安全措施或功能,但瑞萨电子对任何漏洞或安全漏洞概不负责,包括但不限于未经授权访问或使用瑞萨电子产品或使用瑞萨电子产品的系统。瑞萨电子不保证瑞萨电子产品或使用瑞萨电子产品创建的任何系统不会受到攻击或损坏、攻击、病毒、干扰、黑客攻击、数据丢失或盗窃或其他安全入侵(“漏洞问题”)。瑞萨电子不承担因任何漏洞问题引起或与之相关的任何责任或义务。此外,在适用法律允许的范围内,瑞萨电子不就本文档以及任何相关或随附的软件或硬件提供任何明示或暗示的保证,包括但不限于适销性或适用于特定用途的暗示保证。 8. 使用瑞萨电子产品时,请参考最新的产品信息(数据表、用户手册、应用说明、可靠性手册中的“处理和使用半导体设备的一般注意事项”等),并确保使用条件在瑞萨电子规定的范围内,包括最大额定值、工作电源电压范围、散热特性、安装等。瑞萨电子对因在规定范围之外使用瑞萨电子产品而引起的任何故障、失效或事故不承担任何责任。9. 尽管瑞萨电子致力于提高瑞萨电子产品的质量和可靠性,但半导体产品具有特定的特性,例如以一定的速率发生故障以及在一定的使用条件下发生故障。除非瑞萨电子数据表或其他瑞萨电子文件中指定为高可靠性产品或适用于恶劣环境的产品,否则瑞萨电子产品不采用抗辐射设计。您有责任实施安全措施,以防止瑞萨电子产品发生故障或故障时造成人身伤害、火灾造成的伤害或损害和/或对公众造成危险,例如硬件和软件的安全设计,包括但不限于冗余、火灾控制和故障预防,适当的老化退化处理或任何其他适当措施。由于单独评估微型计算机软件非常困难且不切实际,因此您有责任评估您制造的最终产品或系统的安全性。10. 有关环境问题的详细信息,例如每种瑞萨电子产品的环境兼容性,请联系瑞萨电子销售办事处。您有责任仔细充分地调查规范受控物质的包含或使用的适用法律和法规,包括但不限于欧盟 RoHS 指令,并在遵守所有这些适用法律和法规的情况下使用瑞萨电子产品。瑞萨电子对因您不遵守适用法律和法规而造成的损害或损失不承担任何责任。11. 瑞萨电子产品和技术不得用于或纳入任何适用的国内外法律或法规禁止制造、使用或销售的产品或系统。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。 12. 瑞萨电子产品的购买者或分销商,或分销、处置或以其他方式向第三方销售或转让产品的其他任何一方,有责任提前通知该第三方本文件中规定的内容和条件。 13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。 14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。或销售任何适用的国内外法律或法规均禁止。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。12. 瑞萨电子产品的购买者或分销商,或任何分销、处置或以其他方式销售或转让产品给第三方的其他方,有责任提前通知该第三方本文件中规定的内容和条件。13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。或销售任何适用的国内外法律或法规均禁止。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。12. 瑞萨电子产品的购买者或分销商,或任何分销、处置或以其他方式销售或转让产品给第三方的其他方,有责任提前通知该第三方本文件中规定的内容和条件。13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。
2 教授,工程与技术系,Dr.DY Patil 工程学院,浦那,印度摘要。手势是不受语言障碍影响的通用交流方式。检测手势并识别其含义是计算机视觉研究人员的关键步骤。大部分工作已经用手语完成。对手语数据集的可用性和各种手势的多样性进行了比较。本文重点介绍了从三维身体扫描到手势动作的可用数据集。还讨论了它们的可用性和用于实现预期结果的策略。根据不同的参数和特征对主要的神经网络进行了评估。提出了一种在现实中有效识别手势的方法。最后,展示了通过 Open CV 结合基于 Sci-kit 学习库的手势识别技术所取得的结果,并分析了其功效和效率。
b“电话,尽可能。这些系统允许听众看到说话者的脸。听众策略:通过仔细移动和观察主题来帮助预测说话者通过言语,手势,面部表情,指向,写作,写作和/或发短信信号传达给演讲者的所有信息,以帮助您尽快向演讲者传达的所有信息,以帮助您尽快向演讲者传达。 “
随着可穿戴设备(例如智能耳机、眼镜)越来越倾向于面部,人们越来越需要促进与这些设备的直观交互。当前的传感技术已经可以检测到许多基于嘴部的手势;但是,用户对这些手势的偏好尚未完全了解。在本文中,我们研究了基于嘴部的微手势的设计空间和可用性。我们首先进行了头脑风暴会议(N=16),并编制了一组广泛的 86 个用户定义的手势。然后,通过在线调查(N=50),我们评估了手势集的生理和心理需求,并确定了 14 个可以轻松自然地执行的手势子集。最后,我们进行了一项远程绿野仙踪可用性研究(N=11),将手势映射到坐姿和走姿环境下的各种日常智能手机操作。通过这些研究,我们开发了嘴部手势的分类法,最终确定了常见应用程序的实用手势集,并为未来基于嘴部的手势交互提供了设计指南。