XiaoMi-AI文件搜索系统
World File Search System手势
使用深度学习神经网络进行手势识别...
图 3.1：手势识别图 ................................................................................................................ 45 图 3.2：ZTM 手套。 .......................................................................................................................... 46 图 3.3：带有多个传感器的 MIT Acceleglove。 ...................................................................................... 47 图 3.4：CyberGlove III .................................................................................................................... 48 图 3.5：CyberGlove II。 .................................................................................................................... 48 图 3.6：5DT 动作捕捉手套和传感器手套 Ultra。 左：当前版本，右：旧版本。[73][74]。 ............................................................................................................................. 49 图 3.7：X-IST 数据手套 ............................................................................................................. 50 图 3.8：P5 手套。 ........................................................................................................................... 50 图 3.9：典型的基于计算机视觉的手势识别方法 .......................................................................... 51 图 3.10：手势识别中使用的相机类型 .......................................................................................... 52 图 3.11：立体相机。 ...................................................................................................................... 52 图 3.12：深度感知相机 ...................................................................................................................... 53 图 3.13：热像仪 ...................................................................................................................... 53 图 3.14：基于控制器的手势 ............................................................................................................. 54 图 3.15：单相机。 ............................................................................................................................. 54 图 3.16：布鲁内尔大学 3DVJVANT 项目的全息 3D 相机原型...................................................... 55 图 3.17：3D 积分成像相机 PL：定焦镜头，MLA：微透镜阵列，RL：中继透镜。 ... 55 图 3.18：方形光圈 2 型相机与佳能 5.6k 传感器的集成。 ................................................ 56 图 5.1：不同的手势。 ...................................................................................................................... 70 图 5.2：系统实现的图解框架。 ............................................................................................. 71 图 5.3：使用 WT 的 10 种不同运动的 IMF。 ............................................................................. 75 图 5.4：使用 EMD 的 10 种不同运动的 IMF。 ........................................................................... 76 图 5.5：WT 中 10 个不同类别的 ROC。 ......................................................................................... 79 图 5.6：EMD 中 10 个不同类别的 ROC。 ......................................................................................... 80 图 5.7：研究中使用的手势。 ......................................................................................................... 84 图 5.8：实施框架。 ........................................................................................................... 84 图 5.9：使用 WT 的 10 种不同动作的 IMF。 ........................................................................... 87 图 5.10：使用 EMD 的 10 种不同动作的 IMF。 ........................................................................... 89 图 5.11：WT 中 10 个不同类别的 ROC。 ......................................................................................... 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107
使用深度学习神经网络进行手势识别...
图 3.1：手势识别图 ................................................................................................................ 45 图 3.2：ZTM 手套。................................................................................................................. 46 图 3.3：带有多个传感器的 MIT Acceleglove。...................................................................................... 47 图 3.4：CyberGlove III .................................................................................................................... 48 图 3.5：CyberGlove II。.................................................................................................................... 48 图 3.6：5DT 动作捕捉手套和 Sensor Glove Ultra。左：当前版本，右：旧版本。[73][74].................................................................................................................................. 49 图 3.7：X-IST 数据手套 ................................................................................................................ 50 图 3.8：P5 手套。................................................................................................................................. 50 图 3.9：典型的基于计算机视觉的手势识别方法 ............................................................. 51 图 3.10：手势识别中使用的相机类型 ............................................................................. 52 图 3.11：立体相机。................................................................................................................. 52 图 3.12：深度感知相机 ............................................................................................................. 53 图 3.13：热像仪 ................................................................................................................ 53 图 3.14：基于控制器的手势 ................................................................................................ 54 图 3.15：单个相机。................................................................................................................ 54 图 3.16：布鲁内尔大学 3DVJVANT 项目的全息 3D 相机原型。 ........... 55 图 3.17：3D 集成成像相机 PL：定焦镜头，MLA：微透镜阵列，RL：中继透镜。... 55 图 3.18：方形光圈 2 型相机与佳能 5.6k 传感器集成。................................ 56 图 5.1：不同的手势。................................................................................................ 70 图 5.2：系统实施框架说明。.............................................................................. 71 图 5.3：使用 WT 的 10 种不同运动的 IMF。.............................................................................. 75 图 5.4：使用 EMD 的 10 种不同运动的 IMF。......................................................................... 76 图 5.5：WT 中 10 个不同类别的 ROC。................................................................................ 79 图 5.6：EMD 中 10 个不同类别的 ROC。........................................................................... 80 图 5.7：研究中使用的手势。................................................................................ 84 图 5.8：实施框架。................................................................................................ 84 图 5.9：使用 WT 的 10 种不同运动的 IMF。................................................................................ 87 图 5.10：使用 EMD 的 10 种不同运动的 IMF。................................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。................................................................................ 91 图 5.12：EMD 中 10 个不同类别的 ROC。................................................................................ 92 图 6.1：拔牙前第一人称短距离手部动作 ........................................................................ 97 图 6.2：拔牙后第一人称短距离手部动作 ........................................................................ 99 图 6.3：拔牙后第一人称短距离手部动作 ........................................................................ 100 图 6.4：拔牙前第二人称短距离手部动作 ........................................................................ 101 图 6.5：拔牙后第二人称短距离单次手部动作（LCR） ............................................................................................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................................................................. 105 图 6.8：拔牙后第三人称短距离单次手部动作（LCR） ............................................................................................................................................................. 107
基于AI的两流基于CNN的手势识别SY
手势，一种非语言交流的形式，涵盖了可见的身体动作，例如手动运动，面部表情或其他身体部位，以传达特定的信息，无论是或旁边还是语音。与不传达特定信息的非语言提示不同，手势可以传达广泛的情感和思想，例如批准，感情，蔑视或敌意，并且经常与口头语言一起使用以增强意义。某些手势，尤其是手势，可以像言语一样行事，在文化中具有固定的含义，但在不同文化中，甚至在同一文化中的子社区中都有很大变化。这种文化特殊性使得对手势的分类充满挑战，尤其是随着时间的流逝，例如从模仿传统手机到平坦手掌表示智能手机的“呼叫我”手势的转变。传统的用于控制PowerPoint演示文稿的系统，例如键盘，鼠标和演示文稿单击器，表现出明显的限制。这些设备要求主持人保持靠近演示设备，限制他们的运动，并且由于需要手动操作控制设备，因此通常会中断与观众的互动。此外，这些方法可能不精确，并且可能遭受滞后或错过的命令。现有的手势识别算法也因准确性，实时性能和对各种环境的适应性而挣扎。这些问题强调了一种更直观和免提的解决方案的必要性，该解决方案利用了AI和深度学习等先进技术来改善演示控制。人工智能（AI）涵盖了模仿人类认知功能（例如解决问题和学习）的系统，以及在面部和语音识别，决策和翻译等领域的应用。机器学习（AI的子集）涉及通过经验改善的算法。深度学习是机器学习中的一个专业领域，它使用具有多层的神经网络以受人脑启发的方式处理数据，从而识别图像，文本和声音中的复杂模式。卷积神经网络（CNNS）是一种深度学习模型，在分析视觉数据，通过卷积和合并层从数据中学习特征的能力来区分自己。在视频分析的上下文中，两流网络体系结构用于捕获空间和时间组件。这涉及通过单独的卷积神经网络（Convnet）流进行处理静止的框架和光流信息，然后通过晚期融合技术组合。空间流提取有关场景和对象的信息，而时间流则通过光流动位移捕获运动信息。此体系结构增强了识别
使用 3-d 加速度计进行手势识别 - SMEC
摘要：基于手势的交互是一种自然的人机交互方式，在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法，称为 FDSVM（基于帧的描述符和多类 SVM），该方法仅需要可穿戴的三维加速度计。使用 FDSVM，首先收集手势的加速度数据并用基于帧的描述符表示，以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明，所提出的 FDSVM 方法明显优于其他四种方法：朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下，FDSVM 对 4 个方向手势的识别率为 99.38%，对所有 12 个手势的识别率为 95.21%。在用户无关的情况下，它对 4 个手势的识别率为 98.93%，对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比，FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
使用 3-d 加速度计进行手势识别 - SMEC
摘要：基于手势的交互是一种自然的人机交互方式，在普适计算环境中有着广泛的应用。本文提出了一种基于加速度的手势识别方法，称为 FDSVM（基于帧的描述符和多类 SVM），该方法仅需要可穿戴的三维加速度计。使用 FDSVM，首先收集手势的加速度数据并用基于帧的描述符表示，以提取判别信息。然后构建基于 SVM 的多类手势分类器以在非线性手势特征空间中进行识别。在包含数周内 12 个手势的 3360 个手势样本的数据集上进行的大量实验结果表明，所提出的 FDSVM 方法明显优于其他四种方法：朴素贝叶斯、DTW、HMM 和 C4.5。在用户相关的情况下，FDSVM 对 4 个方向手势的识别率为 99.38%，对所有 12 个手势的识别率为 95.21%。在用户无关的情况下，它对 4 个手势的识别率为 98.93%，对 12 个手势的识别率为 89.29%。与文献中报道的其他基于加速度计的手势识别方法相比，FDSVM 在用户相关和用户无关的情况下均能给出最佳结果。
评估智能空中手势语法的接受度的文章
摘要：中手势界面已在特定场景中流行起来，例如通过头戴式显示器与增强现实的交互、通过智能手机或游戏平台进行特定控制。本文探讨了使用位置感知的基于空中手势的命令三元组语法与智能空间进行交互。该语法的灵感来自人类语言，构建为具有命令结构的呼格。在“请打开灯！”这样的句子中，通过模仿其首字母/首字母缩略词（呼格，与句子的省略主语一致）的手势来调用被激活的对象。然后，几何或方向手势识别动作（命令式动词），可能包括对象特征或要与之联网的第二个对象（补语），也由首字母或首字母缩略词表示。从技术上讲，依赖于可训练的多设备手势识别层的解释器使对/三元组语法解码成为可能。识别层适用于可抓取设备（智能手机）和自由手持设备（智能手表和外部深度摄像头）以及特定编译器的加速度和位置输入信号。在 Living Lab 设施的特定部署中，语法已通过使用源自英语的词典（关于首字母和首字母缩略词）进行实例化。对 12 名用户的受试者内分析使我们能够分析手势语法在其三种设备实现（可抓取、可穿戴和无设备）中的语法接受度（就可用性、手势对物体动作的一致性和社会接受度而言）和技术偏好。参与者对学习语法的简单性及其在管理智能资源方面的潜在有效性表示了共识。在社交方面，参与者倾向于在户外活动中使用手表，在家庭和工作环境中使用手机，强调了社交背景在技术设计中的重要性。由于其效率和熟悉度，手机成为手势识别的首选。该系统可适应不同的传感技术，解决了可扩展性问题（因为它可以轻松扩展到新对象和新动作）并允许个性化交互。
使用手势和语音实时实时实时键盘小鼠
摘要计算机应用程序的进步已经越来越促进了日常任务，最近的创新集中在语音助手和虚拟输入设备上。该技术对具有移动性挑战的个体或直接手动计算机交互的情况有限。利用计算机视觉和人工智能，这些应用程序可以解释视觉数据，例如人类运动，并决定执行相应的命令。本研究结合了语音助手，虚拟鼠标和虚拟键盘，以增强可访问性和可用性，特别是对于身体残疾人或喜欢替代输入方法的人。使用Python，MediaPipe和OpenCV，该应用程序有效地处理和解释用户手势，提供响应迅速，有效的计算体验。MediaPipe的功能特别有助于模型的精确度，优化了对AI驱动任务的手动跟踪和手势识别。用户可以通过各种手势来控制计算机光标，使用彩色盖或磁带在虚拟键盘上键入，并执行诸如左键单击和拖动项目之类的基本操作。这种集成的解决方案旨在提高生产率，使计算机更容易访问并增强用户的整体数字体验。在此类应用中，AI和计算机视觉的融合继续推动了创新和包容性的计算解决方案，并承诺在人类计算机互动中具有更大的可访问性和便利性的未来。
词汇压力的视听感：拍打手势和关节提示
抽象的人类交流本质上是多模式的。听觉演讲，但视觉提示也可以用来理解另一个说话者。大多数视听语音感知的研究都集中在语音段的感知上（即语音）。然而，对视觉信息对词汇应力等语音上段方面的感知的影响鲜为人知。在两个实验中，我们研究了不同视觉提示（例如面部关节线索和手势）对词汇应力的视听感的影响。我们介绍了disyllabic荷兰压力对的听觉词法压力连续性以及在第一个或第二个音节上产生压力的扬声器的视频（例如，表达voornaam或voornaam）。此外，我们将扬声器的表面结合起来，在音节上产生词汇应力，并在第一个音节或第二个音节上产生节拍手势，从而产生词汇应力。结果表明，人们成功地使用了视觉发音线索来在静音视频中进行压力。但是，在视听条件下，我们无法找到视觉关节线索的影响。相比之下，我们发现节拍手势的时间对齐具有强烈的影响，从而影响了参与者对词汇压力的看法。这些结果强调了在多模式上下文中考虑语言上部方面的重要性。
Soli：利用毫米波雷达实现无处不在的手势感应
值得指出的是，第一批雷达系统早在 20 世纪 30 年代就已开发 [Watson-Watt 1945]，从那时起，射频传感就已成为一个成熟的工程和应用科学领域。然而，目前的雷达硬件和计算方法主要是为主流雷达应用而开发的，这些应用通常涉及远距离检测和跟踪大型移动物体，例如空中和陆地交通管制、海事雷达、飞机防撞系统和外层空间监视以及地球物理监测等。此类应用的工程要求与现代消费应用不兼容，在现代消费应用中，传感器必须适合微型移动和可穿戴设备，在有限的计算资源上运行，在超短距离（即小于 5 毫米）内工作，消耗很少的功率，并以亚毫米精度跟踪复杂、高度可变形的弹性物体（例如人手而不是刚性飞机）的动态配置。我们不知道现有的雷达系统是否能满足上述要求。我们的研究表明，开发针对人机交互 (HCI) 优化的基于雷达的传感器需要从头开始重新思考和重新构建整个传感器架构，从基本原理开始。
使用合成训练数据的低复杂度雷达手势识别
摘要：无线电探测和测距（雷达）技术的发展使得手势识别成为可能。在基于热图的手势识别中，特征图像尺寸很大，需要复杂的神经网络来提取信息。机器学习方法通常需要大量数据，而用雷达收集手势非常耗时耗能。因此，提出了一种基于调频连续波（FMCW）雷达和合成手势特征生成器的低计算复杂度手势识别算法。在低计算复杂度算法中，对雷达原始数据实施二维快速傅里叶变换以生成距离-多普勒矩阵。之后，应用背景建模来分离动态物体和静态背景。然后选择距离-多普勒矩阵中幅度最高的箱来定位目标并获得其距离和速度。可以利用天线维度上此位置的箱来使用傅里叶波束控制计算目标的角度。在合成生成器中，使用Blender软件生成不同的手势和轨迹，然后直接从轨迹中提取目标的距离、速度和角度。实验结果表明，当以合成数据作为训练集，以真实数据作为测试集时，模型在测试集上的平均识别准确率可达89.13%。这表明合成数据的生成在预训练阶段可以做出有意义的贡献。