XiaoMi-AI文件搜索系统
World File Search SystemGesture
评估智能空中手势语法的接受度的文章
摘要：中手势界面已在特定场景中流行起来，例如通过头戴式显示器与增强现实的交互、通过智能手机或游戏平台进行特定控制。本文探讨了使用位置感知的基于空中手势的命令三元组语法与智能空间进行交互。该语法的灵感来自人类语言，构建为具有命令结构的呼格。在“请打开灯！”这样的句子中，通过模仿其首字母/首字母缩略词（呼格，与句子的省略主语一致）的手势来调用被激活的对象。然后，几何或方向手势识别动作（命令式动词），可能包括对象特征或要与之联网的第二个对象（补语），也由首字母或首字母缩略词表示。从技术上讲，依赖于可训练的多设备手势识别层的解释器使对/三元组语法解码成为可能。识别层适用于可抓取设备（智能手机）和自由手持设备（智能手表和外部深度摄像头）以及特定编译器的加速度和位置输入信号。在 Living Lab 设施的特定部署中，语法已通过使用源自英语的词典（关于首字母和首字母缩略词）进行实例化。对 12 名用户的受试者内分析使我们能够分析手势语法在其三种设备实现（可抓取、可穿戴和无设备）中的语法接受度（就可用性、手势对物体动作的一致性和社会接受度而言）和技术偏好。参与者对学习语法的简单性及其在管理智能资源方面的潜在有效性表示了共识。在社交方面，参与者倾向于在户外活动中使用手表，在家庭和工作环境中使用手机，强调了社交背景在技术设计中的重要性。由于其效率和熟悉度，手机成为手势识别的首选。该系统可适应不同的传感技术，解决了可扩展性问题（因为它可以轻松扩展到新对象和新动作）并允许个性化交互。
用于脑机接口手势识别的卷积脉冲网络
摘要 — 脑机接口正被广泛用于各种治疗应用。通常，这涉及通过皮层脑电图 (ECoG) 或脑电图 (EEG) 等技术测量和分析连续时间脑电活动以驱动外部设备。然而，由于测量中固有的噪声和可变性，这些信号的分析具有挑战性，需要离线处理和大量计算资源。在本文中，我们提出了一种简单而有效的基于机器学习的方法，用于基于脑信号的手势分类示例问题。我们使用一种混合机器学习方法，该方法使用卷积脉冲神经网络，采用生物启发的事件驱动突触可塑性规则对脉冲域中编码的测量模拟信号进行无监督特征学习。我们证明这种方法可以推广到具有 EEG 和 ECoG 数据的不同受试者，并且在识别不同手势类别和运动想象任务方面实现了 92.74-97.07% 范围内的卓越准确率。索引词——脉冲神经网络、脑机接口、事件驱动可塑性、K 均值聚类
使用仿生假手进行手势设计
摘要：脑机接口 (BCI) 系统通过检索脑电波并将其解释为机器指令来控制外部设备。该系统利用脑电图 (EEG) 接收、处理和分类信号，通过大脑产生的信号进行控制。本文重点介绍 BCI 的心理任务设计，通过放置在三维 (3D) 打印耳机上的 EEG 梳状电极获取心理活动产生的信号。实验涉及眨眼左眼和右眼来控制原型轮椅的前后移动。实验测量是使用 Cyton 板进行的，信息通过蓝牙传输，随后经过处理并翻译给轮椅以执行活动。该系统已成功实现利用大脑信号对辅助设备的实时控制。关键词：辅助设备；脑机接口；Cyton；心理活动；心理任务；轮椅。
使用手势和语音实时实时实时键盘小鼠
摘要计算机应用程序的进步已经越来越促进了日常任务，最近的创新集中在语音助手和虚拟输入设备上。该技术对具有移动性挑战的个体或直接手动计算机交互的情况有限。利用计算机视觉和人工智能，这些应用程序可以解释视觉数据，例如人类运动，并决定执行相应的命令。本研究结合了语音助手，虚拟鼠标和虚拟键盘，以增强可访问性和可用性，特别是对于身体残疾人或喜欢替代输入方法的人。使用Python，MediaPipe和OpenCV，该应用程序有效地处理和解释用户手势，提供响应迅速，有效的计算体验。MediaPipe的功能特别有助于模型的精确度，优化了对AI驱动任务的手动跟踪和手势识别。用户可以通过各种手势来控制计算机光标，使用彩色盖或磁带在虚拟键盘上键入，并执行诸如左键单击和拖动项目之类的基本操作。这种集成的解决方案旨在提高生产率，使计算机更容易访问并增强用户的整体数字体验。在此类应用中，AI和计算机视觉的融合继续推动了创新和包容性的计算解决方案，并承诺在人类计算机互动中具有更大的可访问性和便利性的未来。
关于手语姿态高级计算技术的调查
摘要： - 手语动作的解释对于改善聋人和听力障碍者的交流可访问性至关重要。本研究提出了一个全面的计算框架，用于特征提取和长期记忆（LSTM）网络，以捕获跨手势序列的时间动态。CNN体系结构用于评估视觉输入，成功地识别和分类了对正确手势解释至关重要的手动形状，面部表情和身体姿势。通过添加LSTM，我们的方法有效地复制了手语的顺序性质，从而识别了先前运动影响的连续手势。我们使用众多创新策略来处理手语检测问题，例如签名样式，周围噪声以及实时处理的需求。多模式数据融合包含视觉，上下文和语言信息，以提高模型鲁棒性。旋转，缩放和时间变化被用作数据增强程序，以增加训练数据集并提高各种签名设置的模型适用性。混合CNN-LSTM体系结构通过超级参数调整，辍学正则化和批准化来增强，以减少过度拟合，同时保持出色。
使用图像的手势控制智能汽车...
摘要： - 手势控制的智能汽车是人类计算机互动领域的最新计划，它代表了向更自然和更易于使用的用户界面的演变。本文描述了OpenCV和Google的Mediapipe如何错综复杂地制定既敏捷又敏感的控制策略。使用高级图像识别算法从复杂的人体手势转换了动态车辆运动命令。这是交互式技术满足现实世界运动需求的巅峰之作：最先进的计算机视觉和机器学习结合在一起。建议的系统不仅证明了对驾驶等复杂任务的非接触用户输入的生存能力，而且还为在自动驾驶汽车指导和控制系统领域的未来研究树立了道路。这项研究强调了基于手势的界面如何有能力完全改变人们与汽车互动的方式，为更灵活和以人为本的导航系统铺平了道路。
苹果公司诉手势技术合作伙伴有限责任公司
苹果公司 (“苹果”)、LG 电子公司、LG 电子美国公司 1 和谷歌有限责任公司 (“谷歌”) 提交了美国专利号 7,933,431 (“'431 专利”) 的当事人复审 (“IPR”) 请求。专利审判和上诉委员会 (“委员会”) 加入了请求并发布了最终书面决定，认为权利要求 1-10、12 和 14-31 不具有可专利性，而权利要求 11 和 13 具有可专利性。苹果公司诉 Gesture Tech. Partners, LLC，编号 IPR2021-00920、IPR2022-00091、IPR2022-00359、2022 WL 17364390，第 *16 页 (PTAB 2022 年 11 月 30 日) (“最终书面决定”)。苹果公司对委员会关于权利要求 11 和 13 未被证明不可授予专利的裁定提起上诉。Gesture Technology Partners, LLC（“Gesture”）对委员会关于权利要求 1、7、12 和 14 不可授予专利的裁定提起交叉上诉，并辩称，由此推论，所有基于这些权利要求的权利要求均不可授予专利。
使用深度学习神经网络进行手势识别...
图 3.1：手势识别图 ................................................................................................................ 45 图 3.2：ZTM 手套。 .......................................................................................................................... 46 图 3.3：带有多个传感器的 MIT Acceleglove。 ...................................................................................... 47 图 3.4：CyberGlove III .................................................................................................................... 48 图 3.5：CyberGlove II。 .................................................................................................................... 48 图 3.6：5DT 动作捕捉手套和传感器手套 Ultra。 左：当前版本，右：旧版本。[73][74]。 ............................................................................................................................. 49 图 3.7：X-IST 数据手套 ............................................................................................................. 50 图 3.8：P5 手套。 ........................................................................................................................... 50 图 3.9：典型的基于计算机视觉的手势识别方法 .......................................................................... 51 图 3.10：手势识别中使用的相机类型 .......................................................................................... 52 图 3.11：立体相机。 ...................................................................................................................... 52 图 3.12：深度感知相机 ...................................................................................................................... 53 图 3.13：热像仪 ...................................................................................................................... 53 图 3.14：基于控制器的手势 ............................................................................................................. 54 图 3.15：单相机。 ............................................................................................................................. 54 图 3.16：布鲁内尔大学 3DVJVANT 项目的全息 3D 相机原型...................................................... 55 图 3.17：3D 积分成像相机 PL：定焦镜头，MLA：微透镜阵列，RL：中继透镜。 ... 55 图 3.18：方形光圈 2 型相机与佳能 5.6k 传感器的集成。 ................................................ 56 图 5.1：不同的手势。 ...................................................................................................................... 70 图 5.2：系统实现的图解框架。 ............................................................................................. 71 图 5.3：使用 WT 的 10 种不同运动的 IMF。 ............................................................................. 75 图 5.4：使用 EMD 的 10 种不同运动的 IMF。 ........................................................................... 76 图 5.5：WT 中 10 个不同类别的 ROC。 ......................................................................................... 79 图 5.6：EMD 中 10 个不同类别的 ROC。 ......................................................................................... 80 图 5.7：研究中使用的手势。 ......................................................................................................... 84 图 5.8：实施框架。 ........................................................................................................... 84 图 5.9：使用 WT 的 10 种不同动作的 IMF。 ........................................................................... 87 图 5.10：使用 EMD 的 10 种不同动作的 IMF。 ........................................................................... 89 图 5.11：WT 中 10 个不同类别的 ROC。 ......................................................................................... 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107
使用 Arduino 的手势控制机器人 - IJRASET
摘要：本文介绍了一种使用 Arduino 的手势控制机器人，可以通过简单的手势进行控制。根据人的手部运动，加速度计开始移动。它基于加速度计的 3 轴，机器人向前、后、左、右四个方向移动。为了感测人体运动，我们使用红外传感器，其范围是人体 790nm 波长。这种类型的机器人广泛应用于军事应用、工业机器人、建筑领域。在这样的领域，通过开关或遥控器操作机器非常危险且复杂，有时操作员可能会感到困惑，因此引入了这个新概念，通过手部运动来控制机器，同时控制机器人。关键词：Arduino 技术、手势、加速度计、红外传感器。
Soli：利用毫米波雷达实现无处不在的手势感应
值得指出的是，第一批雷达系统早在 20 世纪 30 年代就已开发 [Watson-Watt 1945]，从那时起，射频传感就已成为一个成熟的工程和应用科学领域。然而，目前的雷达硬件和计算方法主要是为主流雷达应用而开发的，这些应用通常涉及远距离检测和跟踪大型移动物体，例如空中和陆地交通管制、海事雷达、飞机防撞系统和外层空间监视以及地球物理监测等。此类应用的工程要求与现代消费应用不兼容，在现代消费应用中，传感器必须适合微型移动和可穿戴设备，在有限的计算资源上运行，在超短距离（即小于 5 毫米）内工作，消耗很少的功率，并以亚毫米精度跟踪复杂、高度可变形的弹性物体（例如人手而不是刚性飞机）的动态配置。我们不知道现有的雷达系统是否能满足上述要求。我们的研究表明，开发针对人机交互 (HCI) 优化的基于雷达的传感器需要从头开始重新思考和重新构建整个传感器架构，从基本原理开始。