XiaoMi-AI文件搜索系统
World File Search System手势
即插即用监控，利用肌肉和脑信号进行实时手势和错误检测
摘要 在各种潜在的安全关键场景中，对机器人进行有效的人工监督是确保机器人正确运行的关键。本文通过结合两种人体生物信号流（分别通过 EMG 和 EEG 获得的肌肉和大脑活动），朝着快速可靠的人工干预监督控制任务迈出了一步。它展示了使用肌肉信号对左手和右手手势进行连续分类、使用脑信号（在观察到错误时无意识产生）对错误相关电位进行时间锁定分类，以及结合这些管道在多项选择任务中检测和纠正机器人错误的框架。以“即插即用”的方式评估由此产生的混合系统，其中 7 名未经训练的受试者监督执行目标选择任务的自主机器人。离线分析进一步探索了 EMG 分类性能，并研究了选择可能促进可推广的即插即用分类器的训练数据子集的方法。
神经形态处理器上的在线小样本手势学习
摘要 — 我们介绍了用于神经形态处理器上的在线小样本学习的替代梯度在线错误触发学习 (SOEL) 系统。SOEL 学习系统结合了迁移学习和计算神经科学与深度学习的原理。我们表明，在神经形态硬件上实施的部分训练的深度脉冲神经网络 (SNN) 可以快速在线适应域内的新数据类别。发生错误时会触发 SOEL 更新，从而以更少的更新实现更快的学习。以手势识别为例，我们表明 SOEL 可用于对新类别的预记录手势数据进行在线小样本学习，以及从动态主动像素视觉传感器实时传输到英特尔 Loihi 神经形态研究处理器的数据中快速在线学习新手势。
基于功能性 MRI 的 ECoG 网格配置模拟，用于最佳测量空间分布的手势信息
1 美国明尼苏达州罗切斯特市梅奥诊所生理学和生物医学工程系 2 荷兰乌得勒支大学医学中心乌得勒支大学脑中心神经内科和神经外科系。 3 美国明尼苏达州罗切斯特市梅奥诊所神经外科系 * 通讯作者。电子邮件：max.vandenboom@mayo.edu、hermes.dora@mayo.edu
基于参与飞行员之间相互意识的维度，设计触觉驾驶舱数字手势的图形表示
为此，我们建议设计一个图形表示系统来代替飞行员在触觉界面上做出的手势。基于专业文献和对手势活动的分析，我们确定了由物理手势产生的九条信息，这些信息最好在与数字触觉界面的交互中再现。此外，我们还对手势表示进行了最先进的研究。我们提供了一种标志性的抽象表示，打破了基于手部形态的表示。演示是由试点在参与式研讨会上设计和评估的。我们的工作展示了一种表示手势的新方式，并使识别飞行员寻求的信息成为可能，以便他们能够确保相互了解。此外，手势的表示似乎根据情况的不同而具有不同的重要性，有时甚至毫无用处。
科学家开发用于高精度识别手势的人工情报系统
news = 57DCDA7A-BC5D-45C1-AB5B-A8143àb83df）。注意：材料可能已被编辑为长度和内容。有关更多信息，请联系引用的来源。
在移动设备上为有运动障碍的人提供眼睑手势
针对运动障碍者的基于眼睛的互动经常使用笨拙或专业的设备（例如，具有非移动计算机的眼球射击器），主要专注于凝视和眨眼。然而，两个眼睑可以在不同的命令中打开并关闭不同的持续时间，以形成各种眼睑手势。我们迈出了第一步，以设计，检测和评估一组手势在移动设备上有运动障碍的人的眼睑手势。我们提出了一种算法，可以实时检测智能手机上的九种眼睑手势，并在两项研究中与十二个人和四名患有严重运动障碍的人进行评估。与运动障碍患者一起研究的结果表明，该算法可以检测以0.76和.69总体准确性和用户独立评估的总体准确性。此外，我们设计和评估了一种手势映射方案，允许仅使用眼睑手势导航移动应用程序。最后，我们提出了针对运动障碍者设计和使用眼睑手势的建议。
使用可穿戴隧道进行眼睑手势控制...
摘要 — 物联网系统使日常技术比以往任何时候都更加数字化，残疾人可能会感到被排斥在外。眼球运动/眨眼等免提手势方法可以增强与现代技术的互动。这项工作展示了通过眨眼进行眼睑手势控制，使用可穿戴磁系统，该系统由眼睑上的柔性磁条和带有模拟前端电路的自旋电子磁传感器组成。为了检测眨眼，将灵敏度为 11mV/V/Oe 的隧道磁阻 (TMR) 传感器嵌入眼镜框中。为了成功检测眼睑上直径 6 毫米、厚度 1 毫米的磁条产生的小磁场，设计了一个传感器读出电路来放大收集到的信号并消除外部噪声和偏移。该电路能够滤波 <0.5 Hz 的低频和直流偏移。高于 >28 Hz 的高频会被滤除磁场和眼睑运动噪声。每个 TMR 传感器电路都配备有固定增益放大器，用于检测毫米级磁条的低磁场。眨眼可以在设定的时间范围内重复，并且由于会检测到双眼睑，因此可以使用多种命令组合进行分类。基于磁场模拟结果，该电路经过了模拟，并显示出高重复性和稳定性，可以根据幅度阈值对眨眼进行分类。因此，可以在蓝牙微控制器上缩放和分类信号，该微控制器能够连接到各种支持蓝牙的设备，以便残疾人士与外部技术进行通信。
使用双侧微电极记录对四肢瘫痪患者的双侧手势进行同时分类
大多数日常任务都需要同时控制双手。在这里，我们使用从四肢瘫痪参与者的双侧运动和体感皮层记录的多单元活动来展示双手手势的同时分类。使用针对每只手分别训练的分层线性判别模型对尝试的手势进行分类。在一项在线实验中，手势被连续分类并用于控制两个机械臂进行中心向外运动任务。需要保持一只手静止的双手试验产生了最佳表现（70.6%），其次是对称运动试验（50%）和非对称运动试验（22.7%）。我们的结果表明，可以使用两个独立训练的手部模型同时解码双手的手势，但随着双手手势组合的复杂性增加，使用这种方法进行在线控制变得更加困难。这项研究展示了使用双侧皮层内脑机接口恢复双手同时控制的潜力。
使用深度学习神经网络进行手势识别...
图 3.1：手势识别图 ................................................................................................................ 45 图 3.2：ZTM 手套。 .......................................................................................................................... 46 图 3.3：带有多个传感器的 MIT Acceleglove。 ...................................................................................... 47 图 3.4：CyberGlove III .................................................................................................................... 48 图 3.5：CyberGlove II。 .................................................................................................................... 48 图 3.6：5DT 动作捕捉手套和传感器手套 Ultra。 左：当前版本，右：旧版本。[73][74]。 ............................................................................................................................. 49 图 3.7：X-IST 数据手套 ............................................................................................................. 50 图 3.8：P5 手套。 ........................................................................................................................... 50 图 3.9：典型的基于计算机视觉的手势识别方法 .......................................................................... 51 图 3.10：手势识别中使用的相机类型 .......................................................................................... 52 图 3.11：立体相机。 ...................................................................................................................... 52 图 3.12：深度感知相机 ...................................................................................................................... 53 图 3.13：热像仪 ...................................................................................................................... 53 图 3.14：基于控制器的手势 ............................................................................................................. 54 图 3.15：单相机。 ............................................................................................................................. 54 图 3.16：布鲁内尔大学 3DVJVANT 项目的全息 3D 相机原型...................................................... 55 图 3.17：3D 积分成像相机 PL：定焦镜头，MLA：微透镜阵列，RL：中继透镜。 ... 55 图 3.18：方形光圈 2 型相机与佳能 5.6k 传感器的集成。 ................................................ 56 图 5.1：不同的手势。 ...................................................................................................................... 70 图 5.2：系统实现的图解框架。 ............................................................................................. 71 图 5.3：使用 WT 的 10 种不同运动的 IMF。 ............................................................................. 75 图 5.4：使用 EMD 的 10 种不同运动的 IMF。 ........................................................................... 76 图 5.5：WT 中 10 个不同类别的 ROC。 ......................................................................................... 79 图 5.6：EMD 中 10 个不同类别的 ROC。 ......................................................................................... 80 图 5.7：研究中使用的手势。 ......................................................................................................... 84 图 5.8：实施框架。 ........................................................................................................... 84 图 5.9：使用 WT 的 10 种不同动作的 IMF。 ........................................................................... 87 图 5.10：使用 EMD 的 10 种不同动作的 IMF。 ........................................................................... 89 图 5.11：WT 中 10 个不同类别的 ROC。 ......................................................................................... 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107................................................................ 89 图 5.11：WT 中 10 个不同类别的 ROC。 .............................................................................. 91 图 5.12：EMD 中 10 个不同类别的 ROC。 ........................................................................................... 92 图 6.1：拔牙前第一人称短距离手部动作 .............................................................................. 97 图 6.2：拔牙后第一人称短距离手部动作 .............................................................................. 99 图 6.3：拔牙后第一人称短距离手部动作 ............................................................................. 100 图 6.4：拔牙前第二人称短距离手部动作 ............................................................................. 101 图 6.5：拔牙后第二人称短距离单人手部动作（LCR） ............................................................. 103 图 6.6：拔牙后第二人称短距离组合手部动作（LCR） ............................................................................. 105 图 6.7：拔牙前第三人称短距离手部动作 ............................................................................. 105 图 6.8：拔牙后第三人称短距离单人手部动作（LCR） ............................................................................................................................................................. 107
不同噪音水平和照明水平对 Aerobots 多模态语音和视觉手势交互的影响
摘要：本文研究了不同噪声水平和不同照明水平对飞行机器人语音和手势控制命令界面的影响。目的是通过研究各个组件的局限性和使用可行性来确定语音和视觉手势多模态组合在人类有氧机器人交互中的实际适用性。为了确定这一点，分别使用 CMU（卡内基梅隆大学）sphinx 和 OpenCV（开源计算机视觉）库开发了一个自定义多模态语音和视觉手势界面。设计了一项实验研究来测量语音和手势两个主要组成部分各自的影响，并招募了 37 名参与者参与实验。环境噪声水平从 55 dB 到 85 dB 不等。环境照明水平从 10 勒克斯到 1400 勒克斯不等，在不同的照明色温混合下，黄色（3500 K）和白色（5500 K），以及用于捕捉手指手势的不同背景。实验结果包括大约 3108 个语音话语和 999 个手势质量观察，并进行了介绍和讨论。观察到语音识别准确率/成功率随着噪声水平的上升而下降，75 dB 噪声水平是航空机器人的实际应用极限，因为语音控制交互由于识别率低而变得非常不可靠。结论是，多词语音命令被认为比单词语音命令更可靠和有效。此外，由于其清晰度，一些语音命令词（例如，land）在较高噪声水平下比其他命令词（例如，hover）更耐噪。从手势照明实验的结果来看，照明条件和环境背景对手势识别质量的影响几乎微不足道，不到 0.5%。这意味着其他因素，例如手势捕获系统设计和技术（相机和计算机硬件）、捕获的手势类型（上身、全身、手、手指或面部手势）以及图像处理技术（手势分类算法），在开发成功的手势识别系统中更为重要。根据从这些发现得出的结论，提出了一些进一步的研究，包括使用替代的 ASR（自动语音识别）语音模型和开发更强大的手势识别算法。