XiaoMi-AI文件搜索系统
World File Search SystemGesture
用...
摘要。手势确定的动态功能（GDDF）是一种有效的方法来处理人形机器人的控制问题。特别是GDDF来限制人形机器人和转向特定手势的双臂运动，以在某些条件下执行苛刻的任务。但是，该方案仍然有缺乏效率。通过实验，我们发现双臂的关节可以被视为冗余操纵器，可以在关节角度稍微超过其极限。性能直接取决于事先为GDDF设计的参数，这导致对该方法的实际应用缺乏适应性。在本文中，提出了一个考虑边缘（MGDDF）的GDDF的修改方案。此MGDDF方案基于二次编程（QP）框架，该框架被广泛应用于解决机器人臂的冗余问题。此外，在拟议的MGDDF方案中引入了三个边距，以避免联合限制。考虑到这些边缘，人形机器人机器人的操纵者的关节将不会超过其限制，并且将完全避免可能由超过限制造成的潜在损害。在MATLAB上进行的计算机模拟进一步验证了拟议的MGDDF方案的可行性和优势。
神经形态处理器上的在线小样本手势学习
摘要 — 我们介绍了用于神经形态处理器上的在线小样本学习的替代梯度在线错误触发学习 (SOEL) 系统。SOEL 学习系统结合了迁移学习和计算神经科学与深度学习的原理。我们表明，在神经形态硬件上实施的部分训练的深度脉冲神经网络 (SNN) 可以快速在线适应域内的新数据类别。发生错误时会触发 SOEL 更新，从而以更少的更新实现更快的学习。以手势识别为例，我们表明 SOEL 可用于对新类别的预记录手势数据进行在线小样本学习，以及从动态主动像素视觉传感器实时传输到英特尔 Loihi 神经形态研究处理器的数据中快速在线学习新手势。
科学家开发用于高精度识别手势的人工情报系统
news = 57DCDA7A-BC5D-45C1-AB5B-A8143àb83df）。注意：材料可能已被编辑为长度和内容。有关更多信息，请联系引用的来源。
在移动设备上为有运动障碍的人提供眼睑手势
针对运动障碍者的基于眼睛的互动经常使用笨拙或专业的设备（例如，具有非移动计算机的眼球射击器），主要专注于凝视和眨眼。然而，两个眼睑可以在不同的命令中打开并关闭不同的持续时间，以形成各种眼睑手势。我们迈出了第一步，以设计，检测和评估一组手势在移动设备上有运动障碍的人的眼睑手势。我们提出了一种算法，可以实时检测智能手机上的九种眼睑手势，并在两项研究中与十二个人和四名患有严重运动障碍的人进行评估。与运动障碍患者一起研究的结果表明，该算法可以检测以0.76和.69总体准确性和用户独立评估的总体准确性。此外，我们设计和评估了一种手势映射方案，允许仅使用眼睑手势导航移动应用程序。最后，我们提出了针对运动障碍者设计和使用眼睑手势的建议。
使用可穿戴隧道进行眼睑手势控制...
摘要 — 物联网系统使日常技术比以往任何时候都更加数字化，残疾人可能会感到被排斥在外。眼球运动/眨眼等免提手势方法可以增强与现代技术的互动。这项工作展示了通过眨眼进行眼睑手势控制，使用可穿戴磁系统，该系统由眼睑上的柔性磁条和带有模拟前端电路的自旋电子磁传感器组成。为了检测眨眼，将灵敏度为 11mV/V/Oe 的隧道磁阻 (TMR) 传感器嵌入眼镜框中。为了成功检测眼睑上直径 6 毫米、厚度 1 毫米的磁条产生的小磁场，设计了一个传感器读出电路来放大收集到的信号并消除外部噪声和偏移。该电路能够滤波 <0.5 Hz 的低频和直流偏移。高于 >28 Hz 的高频会被滤除磁场和眼睑运动噪声。每个 TMR 传感器电路都配备有固定增益放大器，用于检测毫米级磁条的低磁场。眨眼可以在设定的时间范围内重复，并且由于会检测到双眼睑，因此可以使用多种命令组合进行分类。基于磁场模拟结果，该电路经过了模拟，并显示出高重复性和稳定性，可以根据幅度阈值对眨眼进行分类。因此，可以在蓝牙微控制器上缩放和分类信号，该微控制器能够连接到各种支持蓝牙的设备，以便残疾人士与外部技术进行通信。
使用深度学习神经网络进行手势识别...
图 3.1：手势识别图 ................................................................................................................ 45 图 3.2：ZTM 手套。 .......................................................................................................................... 46 图 3.3：带有多个传感器的 MIT Acceleglove。 ...................................................................................... 47 图 3.4：CyberGlove III .................................................................................................................... 48 图 3.5：CyberGlove II。 .................................................................................................................... 48 图 3.6：5DT 动作捕捉手套和传感器手套 Ultra。 左：当前版本，右：旧版本。[73][74]。 ............................................................................................................................. 49 图 3.7：X-IST 数据手套 ............................................................................................................. 50 图 3.8：P5 手套。 ........................................................................................................................... 50 图 3.9：典型的基于计算机视觉的手势识别方法 .......................................................................... 51 图 3.10：手势识别中使用的相机类型 .......................................................................................... 52 图 3.11：立体相机。 ...................................................................................................................... 52 图 3.12：深度感知相机 ...................................................................................................................... 53 图 3.13：热像仪 ...................................................................................................................... 53 图 3.14：基于控制器的手势 ............................................................................................................. 54 图 3.15：单相机。 ............................................................................................................................. 54 图 3.16：布鲁内尔大学 3DVJVANT 项目的全息 3D 相机原型...................................................... 55 图 3.17：3D 积分成像相机 PL：定焦镜头，MLA：微透镜阵列，RL：中继透镜。 ... 55 图 3.18：方形光圈 2 型相机与佳能 5.6k 传感器的集成。 ................................................ 56 图 5.1：不同的手势。 ...................................................................................................................... 70 图 5.2：系统实现的图解框架。 ............................................................................................. 71 图 5.3：使用 WT 的 10 种不同运动的 IMF。 ............................................................................. 75 图 5.4：使用 EMD 的 10 种不同运动的 IMF。 ........................................................................... 76 图 5.5：WT 中 10 个不同类别的 ROC。 ......................................................................................... 79 图 5.6：EMD 中 10 个不同类别的 ROC。 ......................................................................................... 80 图 5.7：研究中使用的手势。 ......................................................................................................... 84 图 5.8：实施框架。 ........................................................................................................... 84 图 5.9：使用 WT 的 10 种不同动作的 IMF。 ........................................................................... 87 图 5.10：使用 EMD 的 10 种不同动作的 IMF。 ........................................................................... 89 图 5.11：WT 中 10 个不同类别的 ROC。 ......................................................................................... 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107
不同噪音水平和照明水平对 Aerobots 多模态语音和视觉手势交互的影响
摘要：本文研究了不同噪声水平和不同照明水平对飞行机器人语音和手势控制命令界面的影响。目的是通过研究各个组件的局限性和使用可行性来确定语音和视觉手势多模态组合在人类有氧机器人交互中的实际适用性。为了确定这一点，分别使用 CMU（卡内基梅隆大学）sphinx 和 OpenCV（开源计算机视觉）库开发了一个自定义多模态语音和视觉手势界面。设计了一项实验研究来测量语音和手势两个主要组成部分各自的影响，并招募了 37 名参与者参与实验。环境噪声水平从 55 dB 到 85 dB 不等。环境照明水平从 10 勒克斯到 1400 勒克斯不等，在不同的照明色温混合下，黄色（3500 K）和白色（5500 K），以及用于捕捉手指手势的不同背景。实验结果包括大约 3108 个语音话语和 999 个手势质量观察，并进行了介绍和讨论。观察到语音识别准确率/成功率随着噪声水平的上升而下降，75 dB 噪声水平是航空机器人的实际应用极限，因为语音控制交互由于识别率低而变得非常不可靠。结论是，多词语音命令被认为比单词语音命令更可靠和有效。此外，由于其清晰度，一些语音命令词（例如，land）在较高噪声水平下比其他命令词（例如，hover）更耐噪。从手势照明实验的结果来看，照明条件和环境背景对手势识别质量的影响几乎微不足道，不到 0.5%。这意味着其他因素，例如手势捕获系统设计和技术（相机和计算机硬件）、捕获的手势类型（上身、全身、手、手指或面部手势）以及图像处理技术（手势分类算法），在开发成功的手势识别系统中更为重要。根据从这些发现得出的结论，提出了一些进一步的研究，包括使用替代的 ASR（自动语音识别）语音模型和开发更强大的手势识别算法。
基于手势的交互 - Bill Buxton
手势和手势识别是人机交互讨论中越来越多遇到的术语。对于许多人（如果不是大多数人）来说，该术语包括字符识别、校对员符号识别、速记以及上一章“标记界面”中描述的所有类型的交互。事实上，每个身体动作都涉及某种手势才能表达出来。此外，手势的性质通常是确定动作感觉质量的重要组成部分。尽管如此，我们想在本章中单独讨论的是手势是表达和识别的交互，而不是通过传感器表达某种东西的结果。因此，我们使用 Kurtenbach 和 Hulteen (1990) 阐明的手势定义：
Soli：利用毫米波雷达实现无处不在的手势感应
值得指出的是，第一批雷达系统早在 20 世纪 30 年代就已开发 [Watson-Watt 1945]，从那时起，射频传感就已成为一个成熟的工程和应用科学领域。然而，目前的雷达硬件和计算方法主要是为主流雷达应用而开发的，这些应用通常涉及远距离检测和跟踪大型移动物体，例如空中和陆地交通管制、海事雷达、飞机防撞系统和外层空间监视以及地球物理监测等。此类应用的工程要求与现代消费应用不兼容，在现代消费应用中，传感器必须适合微型移动和可穿戴设备，在有限的计算资源上运行，在超短距离（即小于 5 毫米）内工作，消耗很少的功率，并以亚毫米精度跟踪复杂、高度可变形的弹性物体（例如人手而不是刚性飞机）的动态配置。我们不知道现有的雷达系统是否能满足上述要求。我们的研究表明，开发针对人机交互 (HCI) 优化的基于雷达的传感器需要从头开始重新思考和重新构建整个传感器架构，从基本原理开始。
Soli：利用毫米波雷达实现无处不在的手势感应
值得指出的是，第一批雷达系统早在 20 世纪 30 年代就已开发 [Watson-Watt 1945]，从那时起，射频传感就已成为一个成熟的工程和应用科学领域。然而，目前的雷达硬件和计算方法主要是为主流雷达应用而开发的，这些应用通常涉及远距离检测和跟踪大型移动物体，例如空中和陆地交通管制、海事雷达、飞机防撞系统和外层空间监视以及地球物理监测等。此类应用的工程要求与现代消费应用不兼容，在现代消费应用中，传感器必须适合微型移动和可穿戴设备，在有限的计算资源上运行，在超短距离（即小于 5 毫米）内工作，消耗很少的功率，并以亚毫米精度跟踪复杂、高度可变形的弹性物体（例如人手而不是刚性飞机）的动态配置。我们不知道现有的雷达系统是否能满足上述要求。我们的研究表明，开发针对人机交互 (HCI) 优化的基于雷达的传感器需要从头开始重新思考和重新构建整个传感器架构，从基本原理开始。