对与计算机的免提交互的需求不断增长,导致开发基于手势识别的系统,用于控制鼠标和键盘等虚拟输入设备。本文使用计算机视觉技术提出了一种基于手势控制的新方法,在该技术中,手势被捕获并处理以执行鼠标和键盘操作。系统利用实时手势识别算法将特定的手移动映射到相应的动作,例如鼠标运动,点击,滚动和文本输入。通过使用机器学习和图像处理技术,该系统为传统输入设备提供了直观且易于访问的替代方案。所提出的架构设计为强大且适应各种环境,为用户提供无缝的互动体验。该研究还强调了挑战,例如环境噪声,照明条件和手势准确性,同时提出了克服这些局限性的潜在解决方案。该系统在可访问性,辅助技术和免提计算等领域中具有广泛的应用。
视觉和语言导航(VLN)任务涉及使用语言命令导航移动性,并在开发自动移动性的接口中应用。在这种情况下,自然的人类交流还构成了手势和凝视等非语言提示。这些手势引导的指示已在人类机器人的互动系统中进行了探索,以有效相互作用,特别是在对象引用表达式中。ever,在户外VLN任务中应对基于手势的表达式的著名差距。为了解决这个问题,我们介绍了一个新颖的数据集,用于带有示范表达式的手势引导的户外VLN指令,并重点介绍了复杂的指令,以重新引导命令输入方式之间进行多跳的推理。此外,我们的工作还包括对收集数据的全面分析以及针对现有数据集的比较评估。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周的 12 种手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
摘要 — 物联网系统使日常技术比以往任何时候都更加数字化,残疾人可能会感到被排斥在外。眼球运动/眨眼等免提手势方法可以增强与现代技术的互动。这项工作展示了通过眨眼进行眼睑手势控制,使用可穿戴磁系统,该系统由眼睑上的柔性磁条和带有模拟前端电路的自旋电子磁传感器组成。为了检测眨眼,将灵敏度为 11mV/V/Oe 的隧道磁阻 (TMR) 传感器嵌入眼镜框中。为了成功检测眼睑上直径 6 毫米、厚度 1 毫米的磁条产生的小磁场,设计了一个传感器读出电路来放大收集到的信号并消除外部噪声和偏移。该电路能够滤波 <0.5 Hz 的低频和直流偏移。高于 >28 Hz 的高频会被滤除磁场和眼睑运动噪声。每个 TMR 传感器电路都配备有固定增益放大器,用于检测毫米级磁条的低磁场。眨眼可以在设定的时间范围内重复,并且由于会检测到双眼睑,因此可以使用多种命令组合进行分类。基于磁场模拟结果,该电路经过了模拟,并显示出高重复性和稳定性,可以根据幅度阈值对眨眼进行分类。因此,可以在蓝牙微控制器上缩放和分类信号,该微控制器能够连接到各种支持蓝牙的设备,以便残疾人士与外部技术进行通信。
摘要 — 我们介绍了用于神经形态处理器上的在线小样本学习的替代梯度在线错误触发学习 (SOEL) 系统。SOEL 学习系统结合了迁移学习和计算神经科学与深度学习的原理。我们表明,在神经形态硬件上实施的部分训练的深度脉冲神经网络 (SNN) 可以快速在线适应域内的新数据类别。发生错误时会触发 SOEL 更新,从而以更少的更新实现更快的学习。以手势识别为例,我们表明 SOEL 可用于对新类别的预记录手势数据进行在线小样本学习,以及从动态主动像素视觉传感器实时传输到英特尔 Loihi 神经形态研究处理器的数据中快速在线学习新手势。
2 教授,工程与技术系,Dr.DY Patil 工程学院,浦那,印度摘要。手势是不受语言障碍影响的通用交流方式。检测手势并识别其含义是计算机视觉研究人员的关键步骤。大部分工作已经用手语完成。对手语数据集的可用性和各种手势的多样性进行了比较。本文重点介绍了从三维身体扫描到手势动作的可用数据集。还讨论了它们的可用性和用于实现预期结果的策略。根据不同的参数和特征对主要的神经网络进行了评估。提出了一种在现实中有效识别手势的方法。最后,展示了通过 Open CV 结合基于 Sci-kit 学习库的手势识别技术所取得的结果,并分析了其功效和效率。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
苹果公司 (“苹果”)、LG 电子公司、LG 电子美国公司 1 和谷歌有限责任公司 (“谷歌”) 提交了美国专利号 7,933,431 (“'431 专利”) 的当事人复审 (“IPR”) 请求。专利审判和上诉委员会 (“委员会”) 加入了请求并发布了最终书面决定,认为权利要求 1-10、12 和 14-31 不具有可专利性,而权利要求 11 和 13 具有可专利性。苹果公司诉 Gesture Tech. Partners, LLC,编号 IPR2021-00920、IPR2022-00091、IPR2022-00359、2022 WL 17364390,第 *16 页 (PTAB 2022 年 11 月 30 日) (“最终书面决定”)。苹果公司对委员会关于权利要求 11 和 13 未被证明不可授予专利的裁定提起上诉。Gesture Technology Partners, LLC(“Gesture”)对委员会关于权利要求 1、7、12 和 14 不可授予专利的裁定提起交叉上诉,并辩称,由此推论,所有基于这些权利要求的权利要求均不可授予专利。
摘要。社交触摸提供了人类和机器人之间丰富的非语言交流。先前的工作已经确定了一套用于人类互动的触摸手势,并用自然语言标签(例如,抚摸,拍拍)描述了它们。然而,尚无关于用户思想中的触摸手势之间的半智关系的数据。为了赋予机器人的触摸智能,我们调查了人们如何看待文献中的社会触摸标签的相似之处。在一项在线研究中,有45位参与者根据他们的相似之处对36个社交触摸标签进行了分组,并用描述性名称注释了他们的分组。我们从这些分组中得出了手势的定量相似性,并使用层次聚类分析了相似性。分析导致围绕手势的社会,情感和接触特征形成9个触摸手势。我们讨论了结果对设计和评估触摸感应和与社交机器人的互动的含义。
摘要:基于手势的交互是一种自然的人机交互方式,在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法,称为 FDSVM(基于帧的描述符和多类 SVM),该方法仅需要可穿戴的三维加速度计。使用 FDSVM,首先收集手势的加速度数据并用基于帧的描述符表示,以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明,所提出的 FDSVM 方法明显优于其他四种方法:朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下,FDSVM 对 4 个方向手势的识别率为 99.38%,对所有 12 个手势的识别率为 95.21%。在用户无关的情况下,它对 4 个手势的识别率为 98.93%,对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比,FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。