XiaoMi-AI文件搜索系统
World File Search System手势
Myokey：惯性运动感测和基于手势的QWERTY键盘扩展现实
摘要 - 在扩展现实（XR）的背景下对文本输入的挑战和社会接受，激发了新型输入方式的研究。我们研究了使用Qwerty-layout虚拟键盘应用于文本条目的惯性测量单元（IMU）控制和表面肌电图（SEMG）手势识别的融合。我们设计，实施和评估了名为Myokey的提议的多模式解决方案。用户可以通过手臂运动和手势组合选择字符。Myokey采用轻量级卷积神经网络分类器，可以在具有微不足道的推理时间上部署在移动设备上。我们通过在三种情况下招募12名参与者并测试了三组抓地力微观手机，证明了与Myokey无中断的文本条目的实用性：空手文本输入，三脚架抓握（例如，笔）和圆柱形掌握（例如，pen）。使用Myokey，用户的平均文本输入率为每分钟9.33个单词（WPM），8.76 wpm和8.35 wpm，分别为徒手，三脚架掌握和圆柱形掌握条件。
使用OpenCV和介质管进行实时交互的基于手势的鼠标控制系统
技术，Karnataka 2 BE Scholar，CSE，部门，Shri Dharmasthala Manjunatheshwara技术学院，卡纳塔克邦摘要 - 该研究提出了一种基于手势的交互系统，旨在使用OpenCV和MediaPipe实时控制。此系统使用手势来提供一种直观且不接触的方式来与计算机进行交互，从而为与传统输入设备（如鼠标或键盘等传统输入设备）挣扎的人相互访问。使用单个网络摄像头，该系统连续捕获并监视手动移动。这些运动是通过模式识别算法处理的，以准确识别特定的手势，每个手势都与各种计算机操作相对应，包括鼠标运动，咔嗒声和滚动。该系统是针对用户友好性和效率进行设计的，使用户可以在无人接触的情况下轻松浏览其计算机屏幕。研究的结果强调了使用手势来实现基本计算机控制任务的实用性和有效性，在日常和专业计算方案中提出了一种有希望的无提交互方法。索引术语 - 手势识别，OpenCV，MediaPipe，小鼠控制，人类计算机相互作用。
手势对驾驶舱中的相互意识有何影响？通过图形表示公开交互
摘要 本文介绍了一种使用触摸式交互来确保客机飞行员相互了解的方法。事实上，触摸屏正在进入驾驶舱，但基于触摸的手势不如物理控制上的手势有效，而且出于效率和安全原因，它们在飞机上的使用受到限制。为了让其他飞行员有更安全的感知，我们建议用图形表示来补充对所执行手势的感知。我们的假设是，表示手势的效果比表示手势本身更重要。我们介绍了基于活动和图形符号学分析构建相互意识表示的设计选择。我们报告了从客机飞行员的设计演练中收集的结果。这些结果证实，表示手势的效果是相互意识的有效手段。我们的工作展示了飞行员如何理解手势的效果，既是结果，也是印象。
调查了描述显示产品的虚拟现实代理的外观和手势给出的印象
最近，出现了虚拟现实（VR）代理在虚拟产品展览中的使用。VR代理向用户展示的产品以出售。已知VR代理的描述会影响用户购买产品的意愿[3]。但是，当VR代理向用户描述产品时，用户对VR代理的印象也很重要。例如，如果用户对VR代理有很好的印象，则用户更有可能购买产品。因此，本文讨论了当VR代理向用户描述产品时，用户感知的VR代理的印象。我们旨在了解VR代理如何描述产品显示器影响用户所感知的印象。有许多因素会影响这种印象，例如VR代理的外观，手势，对话和语音质量。在本文中，我们关注VR代理的外观和手势，如图1，通过人类视觉感知强烈影响VR药物的印象。现有的分析研究[2，4]报告说，VR代理的外观会影响用户在VR代理描述显示产品时购买的意愿。但是，这些现有的分析
即插即用监控，利用肌肉和脑信号进行实时手势和错误检测
摘要 在各种潜在的安全关键场景中，对机器人进行有效的人工监督是确保机器人正确运行的关键。本文通过结合两种人体生物信号流（分别通过 EMG 和 EEG 获得的肌肉和大脑活动），朝着快速可靠的人工干预监督控制任务迈出了一步。它介绍了使用肌肉信号对左手和右手手势进行连续分类、使用脑信号（在观察到错误时无意识产生）对错误相关电位进行时间锁定分类，以及结合这些管道在多项选择任务中检测和纠正机器人错误的框架。以“即插即用”的方式评估由此产生的混合系统，其中 7 名未经训练的受试者监督执行目标选择任务的自主机器人。离线分析进一步探索了 EMG 分类性能，并研究了选择可能促进可推广的即插即用分类器的训练数据子集的方法。
gestllm：通过大型语言模型进行人手互动的高级手势解释
摘要 - 本文介绍了Gestllm，这是人类机器人相互作用的高级系统，可以通过手势来实现直观的机器人控制。与常规系统不同，该系统依赖于有限的预定义手势，Gestllm利用大型语言模型并通过MediaPipe [1]提取功能来解释各种各样的手势。该集成解决了现有系统中的关键局限性，例如受限的手势灵活性以及无法识别人类交流中常用的复杂或非常规的手势。通过结合最先进的功能提取和语言模型功能，Gestllm实现了与领先的视觉模型相当的性能，同时支持传统数据集中没有代表的手势。例如，这包括来自流行文化的手势，例如《星际迷航》的“瓦肯敬礼”，没有任何其他预处理，及时的工程等。这种灵活性增强了机器人控制的自然性和包容性，使互动更加直观和用户友好。gestllm在基于手势的相互作用方面提供了重要的一步，使机器人能够有效地理解和响应各种手势。本文概述了其设计，实施和评估，证明了其在高级人机协作，辅助机器人技术和互动娱乐中的潜在应用。索引条款 - llm;手势识别；机器人控制
对虚拟现实操纵技术的审查
摘要：本评论探讨了手势的历史和当前意义，作为一种通用的交流形式，重点是虚拟现实应用中的手势。它突出了1990年代的手势检测系统的演变，该系统使用计算机算法在静态图像中找到模式，直到当今的传感器技术，人工智能和计算能力的进步已经实现了实时的手势识别。本文强调了手势在虚拟现实（VR）中的作用，该领域通过3D建模，声音效果和传感技术的MA融合来创造沉浸式数字体验。本评论介绍了用于手势检测的最先进的硬件和软件技术，主要用于VR应用程序。它讨论了手势检测中的挑战，将手势分类为静态和动态，并将其评分为检测困难。本文还回顾了VR中使用的触觉设备及其优势和挑战。它概述了手势采集的过程，从输入和预处理到姿势检测，以供静态和动态手势。
用于危险环境中通信的手势导向传感器信息融合
基于手势的传感器信息融合 (GBSIF) 是指将从环境中收集的传感器数据与电子手套上的运动传感器数据融合。电子手套具有中央处理单元 (CPU)，用于将手和手指的动作和位置融合成手势，如图 1 所示。可以使用相同的 CPU 融合来自环境的其他数据。在 GBSIF 中，操作员传输传感器阵列，但不主动确定将参与融合的传感器或将收集数据的目标对象，安装在电子手套上的传感器除外。数据是从环境和手套传感器收集的，这些数据可以在不同于用户节点的网络站点上融合和集成。因此，手势传感器数据和环境数据在适当的情况下被收集、融合和集成。然而，手势本身并不是选择信息源和控制融合过程的主要驱动力。
为听障人士提供手势识别的人工智能生物传感系统
人工智能技术有潜力帮助聋哑人士交流。由于手势碎片化的复杂性和捕捉手势的不足，作者提出了一种基于 Deep SLR 的手语识别 (SLR) 系统和可穿戴表面肌电图 (sEMG) 生物传感设备，可将手语转换为印刷信息或语音，让人们更好地理解手语和手势。在前臂上安装了两个臂带，臂带上装有生物传感器和多通道 sEMG 传感器，可以很好地捕捉手臂和手指的动作。Deep SLR 在 Android 和 iOS 智能手机上进行了测试，并通过全面测试确定了它的实用性。Sign Speaker 在用智能手机和智能手表识别双手手势方面存在相当大的局限性。为了解决这些问题，本研究提出了一种新的实时端到端 SLR 方法。连续句子识别的平均单词错误率为 9.6%，检测信号并识别一个包含六个手势词的句子需要不到 0.9 秒的时间，证明了 Deep SLR 的识别能力。
DigituSync：一款可自适应共享手势的双用户被动外骨骼手套
我们设计了 DigituSync，这是一种被动外骨骼，可将两只手物理连接在一起，使两个用户能够实时自适应地传输手指运动。它使用多个四连杆来传输运动和力，同时仍保持一致的触觉反馈。此外，我们实施了一个可变长度的连杆，可以调整两个用户之间的力传输比并调节干预量，从而使用户能够定制自己的学习体验。DigituSync 的优势源于其被动设计：与现有的触觉设备（基于电机的外骨骼或电肌肉刺激）不同，DigituSync 几乎没有延迟，不需要电池/电子设备来传输或调整动作，使其在许多环境中部署都非常有用且安全，例如在学生和老师之间