摘要——一种称为手势控制轮椅 (HGCW) 系统的新辅助技术旨在帮助行动不便的人提高独立性和机动性。该系统由一个可穿戴设备组成,该设备带有可检测手部运动的传感器,以及用于实时数据处理和轮椅控制的 Arduino 微控制器。HGCW 系统使用手势识别算法将手势转换为相应的轮椅运动,例如向前、向后、向左和向右转,并与轮椅的控制单元进行无线通信。该系统具有成本效益、可定制和直观的特点,可供广泛的用户使用。HGCW 系统有可能彻底改变残疾人士在环境中导航的方式,使他们能够过上更加独立和充实的生活。通过改变头部运动,数据被无线发送到基于微控制器的电机驱动电路,以五种不同的模式控制椅子的旋转:向前、向后、向右、向左和特殊站立锁定。所提出的系统是使用从当地市场采购的产品组装的,并在实验室中测试了其性能,测试结果包含在本文中。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周的 12 种手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
1. 本文档中提供的电路、软件和其他相关信息的描述仅用于说明半导体产品和应用示例的操作。您对在产品或系统设计中整合或以其他方式使用电路、软件和信息负全部责任。瑞萨电子对于您或第三方因使用这些电路、软件或信息而遭受的任何损失和损害不承担任何责任。2. 瑞萨电子在此明确声明,对于因使用本文档中描述的瑞萨电子产品或技术信息(包括但不限于产品数据、图纸、图表、程序、算法和应用示例)而导致的侵权或涉及第三方专利、版权或其他知识产权的任何其他索赔,瑞萨电子不承担任何担保和责任。3. 瑞萨电子或其他方的任何专利、版权或其他知识产权均未以明示、暗示或其他方式授予许可。 4. 您应负责确定需要从任何第三方获得哪些许可,并在必要时获得此类许可,以便合法进口、出口、制造、销售、使用、分销或以其他方式处置任何包含瑞萨电子产品的产品。 5. 您不得更改、修改、复制或逆向工程任何瑞萨电子产品,无论是全部还是部分。瑞萨电子对因此类更改、修改、复制或逆向工程而导致您或第三方遭受的任何损失或损害不承担任何责任。 6. 瑞萨电子产品根据以下两个质量等级进行分类:“标准”和“高质量”。每种瑞萨电子产品的预期应用取决于产品的质量等级,如下所示。 “标准”:计算机;办公设备;通信设备;测试和测量设备;视听设备;家用电子设备;机床;个人电子设备;工业机器人;等。 “高质量”:运输设备(汽车、火车、轮船等);交通管制(交通信号灯);大型通信设备;关键金融终端系统;安全控制设备;等。除非在瑞萨电子数据表或其他瑞萨电子文件中明确指定为高可靠性产品或适用于恶劣环境的产品,否则瑞萨电子产品并不旨在或被授权用于可能对人类生命或身体伤害构成直接威胁或人身伤害(人工生命支持设备或系统;手术植入;等)或可能造成严重财产损失(空间系统;海底中继器;核电控制系统;飞机控制系统;关键工厂系统;军事装备;等)的产品或系统。瑞萨电子不承担因您或任何第三方使用与瑞萨电子数据表、用户手册或其他瑞萨电子文档不一致的瑞萨电子产品而造成的任何损害或损失的任何责任。7. 任何半导体产品都不是绝对安全的。尽管瑞萨电子硬件或软件产品中可能实施了任何安全措施或功能,但瑞萨电子对任何漏洞或安全漏洞概不负责,包括但不限于未经授权访问或使用瑞萨电子产品或使用瑞萨电子产品的系统。瑞萨电子不保证瑞萨电子产品或使用瑞萨电子产品创建的任何系统不会受到攻击或损坏、攻击、病毒、干扰、黑客攻击、数据丢失或盗窃或其他安全入侵(“漏洞问题”)。瑞萨电子不承担因任何漏洞问题引起或与之相关的任何责任或义务。此外,在适用法律允许的范围内,瑞萨电子不就本文档以及任何相关或随附的软件或硬件提供任何明示或暗示的保证,包括但不限于适销性或适用于特定用途的暗示保证。 8. 使用瑞萨电子产品时,请参考最新的产品信息(数据表、用户手册、应用说明、可靠性手册中的“处理和使用半导体设备的一般注意事项”等),并确保使用条件在瑞萨电子规定的范围内,包括最大额定值、工作电源电压范围、散热特性、安装等。瑞萨电子对因在规定范围之外使用瑞萨电子产品而引起的任何故障、失效或事故不承担任何责任。9. 尽管瑞萨电子致力于提高瑞萨电子产品的质量和可靠性,但半导体产品具有特定的特性,例如以一定的速率发生故障以及在一定的使用条件下发生故障。除非瑞萨电子数据表或其他瑞萨电子文件中指定为高可靠性产品或适用于恶劣环境的产品,否则瑞萨电子产品不采用抗辐射设计。您有责任实施安全措施,以防止瑞萨电子产品发生故障或故障时造成人身伤害、火灾造成的伤害或损害和/或对公众造成危险,例如硬件和软件的安全设计,包括但不限于冗余、火灾控制和故障预防,适当的老化退化处理或任何其他适当措施。由于单独评估微型计算机软件非常困难且不切实际,因此您有责任评估您制造的最终产品或系统的安全性。10. 有关环境问题的详细信息,例如每种瑞萨电子产品的环境兼容性,请联系瑞萨电子销售办事处。您有责任仔细充分地调查规范受控物质的包含或使用的适用法律和法规,包括但不限于欧盟 RoHS 指令,并在遵守所有这些适用法律和法规的情况下使用瑞萨电子产品。瑞萨电子对因您不遵守适用法律和法规而造成的损害或损失不承担任何责任。11. 瑞萨电子产品和技术不得用于或纳入任何适用的国内外法律或法规禁止制造、使用或销售的产品或系统。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。 12. 瑞萨电子产品的购买者或分销商,或分销、处置或以其他方式向第三方销售或转让产品的其他任何一方,有责任提前通知该第三方本文件中规定的内容和条件。 13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。 14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。或销售任何适用的国内外法律或法规均禁止。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。12. 瑞萨电子产品的购买者或分销商,或任何分销、处置或以其他方式销售或转让产品给第三方的其他方,有责任提前通知该第三方本文件中规定的内容和条件。13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。或销售任何适用的国内外法律或法规均禁止。您应遵守对当事方或交易拥有管辖权的任何国家的政府颁布和实施的任何适用的出口管制法律和法规。12. 瑞萨电子产品的购买者或分销商,或任何分销、处置或以其他方式销售或转让产品给第三方的其他方,有责任提前通知该第三方本文件中规定的内容和条件。13. 未经瑞萨电子事先书面同意,不得以任何形式全部或部分转载、复制或复印本文件。14. 如果您对本文件或瑞萨电子产品中包含的信息有任何疑问,请联系瑞萨电子销售办事处。
摘要 — 物联网系统使日常技术比以往任何时候都更加数字化,残疾人可能会感到被排斥在外。眼球运动/眨眼等免提手势方法可以增强与现代技术的互动。这项工作展示了通过眨眼进行眼睑手势控制,使用可穿戴磁系统,该系统由眼睑上的柔性磁条和带有模拟前端电路的自旋电子磁传感器组成。为了检测眨眼,将灵敏度为 11mV/V/Oe 的隧道磁阻 (TMR) 传感器嵌入眼镜框中。为了成功检测眼睑上直径 6 毫米、厚度 1 毫米的磁条产生的小磁场,设计了一个传感器读出电路来放大收集到的信号并消除外部噪声和偏移。该电路能够滤波 <0.5 Hz 的低频和直流偏移。高于 >28 Hz 的高频会被滤除磁场和眼睑运动噪声。每个 TMR 传感器电路都配备有固定增益放大器,用于检测毫米级磁条的低磁场。眨眼可以在设定的时间范围内重复,并且由于会检测到双眼睑,因此可以使用多种命令组合进行分类。基于磁场模拟结果,该电路经过了模拟,并显示出高重复性和稳定性,可以根据幅度阈值对眨眼进行分类。因此,可以在蓝牙微控制器上缩放和分类信号,该微控制器能够连接到各种支持蓝牙的设备,以便残疾人士与外部技术进行通信。
摘要 — 我们介绍了用于神经形态处理器上的在线小样本学习的替代梯度在线错误触发学习 (SOEL) 系统。SOEL 学习系统结合了迁移学习和计算神经科学与深度学习的原理。我们表明,在神经形态硬件上实施的部分训练的深度脉冲神经网络 (SNN) 可以快速在线适应域内的新数据类别。发生错误时会触发 SOEL 更新,从而以更少的更新实现更快的学习。以手势识别为例,我们表明 SOEL 可用于对新类别的预记录手势数据进行在线小样本学习,以及从动态主动像素视觉传感器实时传输到英特尔 Loihi 神经形态研究处理器的数据中快速在线学习新手势。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
近年来,机器人已成为我们日常生活的重要组成部分,随着各种应用程序。人类机器人相互作用在机器人领域产生了积极的影响,以与机器人进行交互和通信。手势识别技术与机器学习算法相结合,近年来表现出了显着的进步,尤其是在人类机器人相互作用(HRI)方面。本文全面回顾了手势识别方法的最新进步及其与机器学习方法的集成以增强HRI。此外,本文代表了基于视觉的手势识别与深度感应系统的安全可靠的人类现象相互作用,分析了机器学习算法的作用,例如深度学习,增强学习以及转移学习在改善人类与人类与机器人之间有效交流的手势识别系统的准确性和鲁棒性方面的转移学习中。
机器人技术取得了重大进展,使机器人能够自主规划路线[1]并在医学上与人类互动[2],教育[3]和救援行动[4]。通过语音和手势控制机器人是最自然的互动方式[5],因为人类每天使用这些方法。使用手势的控制可以使用视觉传感器[6],肌电图方法(跟踪人体肌肉收缩[7]),采用触摸屏,加速度计或其他传感器[8]来实现。本文概述了使用Kinect传感器在机器人技术中的手势控制实现。kinect最初是用于游戏的Microsoft运动控制器,它使用计算机视觉方法进行基于手势的控制。后来Microsoft启用了使用软件开发套件的自定义应用程序开发[9]。本研究总结了有关机器人技术中Microsoft Kinect使用的信息,比较了不同的手势识别方法的准确性,并强调了Kinect在各种任务中的潜伏期。
摘要 — 通过技术手段进行手臂和手部跟踪可以收集可用于确定手势含义的数据。为此,机器学习算法主要被研究以寻找最高识别率和最短识别时间之间的平衡。然而,这种平衡主要来自于统计模型,而统计模型很难解释。与此相反,我们提出了 µC 1 和 µC 2,两种基于几何模型的手势识别方法,支持识别过程的可视化和几何解释。我们将 µC 1 和 µC 2 与两种经典机器学习算法 k-NN 和 SVM 以及两种最先进的深度学习模型 BiLSTM 和 GRU 进行比较,实验数据集包含意大利手语 (LIS) 的十个手势类别,每个类别由五名没有经验的非母语手语者重复 100 次,并通过可穿戴技术(传感手套和惯性测量单元)收集。最终,我们在高识别率(> 90%)和低识别时间(< 0.1 秒)之间实现了折衷,这足以满足人机交互的需要。此外,我们基于几何代数详细阐述了算法的几何解释,这有助于对识别过程有所理解。
1 MCET,Desamangalam-679532,喀拉拉邦,印度 摘要:本项目展示了一款专为实时手势识别和应急响应而设计的智能手套。该手套集成了五个柔性传感器来捕捉手指运动,一个加速度计来检测手部方向,以及一个 ESP32 微控制器来处理传感器数据。显示屏提供视觉反馈,而 APR33A3 芯片则支持音频播放。此外,该手套通过蓝牙连接与移动应用程序集成,允许紧急通知闪烁和远程控制灯和风扇等电器。这款智能手套为免提应急响应提供了一种新颖的解决方案。通过识别特定的手势,手套可以触发预先录制的紧急音频消息,向连接的移动应用程序发送通知,甚至远程控制智能家居设备,从而提高需要帮助的用户的安全性和可访问性。索引术语 – 手势识别、柔性传感器。