本文探讨了一种与吉他踏板进行传统互动的方法。通过分析通过表面肌电图(SEMG)可穿戴传感器跟踪的肌肉收缩,我们旨在调查如何动态跟踪吉他手的声音意图,以自动控制吉他声音。基于双向长期记忆的两个复发性神经网络被删除,以实时分析SEMG信号。该系统被设计为一种数字乐器,可在初始培训过程中向每个用户校准。在培训期间,音乐家提供了他们的手势词汇,将每个手势都带到相应的踏板预设中。最有效的特征与最佳肌肉相当,以优化系统的学习率。通过一项用户研究评估了该系统,其中包括七个专家吉他手。sults表明,平均而言,参与者赞赏该系统的基础概念,并认为它能够促进其创造力。
摘要:中风是一种脑血管疾病 (CVD),会导致偏瘫、瘫痪或死亡。传统上,中风患者需要长时间接受物理治疗师的治疗才能恢复运动功能。各种家用康复设备也可用于上肢,几乎不需要物理治疗师的帮助。然而,目前还没有经过临床验证的用于下肢功能恢复的设备。在本研究中,我们探索了表面肌电图 (sEMG) 作为控制机制在开发中风患者家用下肢康复设备方面的潜在用途。在本实验中,我们使用三个通道的 sEMG 记录了 11 名中风患者进行踝关节运动时的数据。然后从 sEMG 数据中解码运动,并研究它们与运动损伤程度的相关性。使用 Fugl-Meyer 评估 (FMA) 量表量化损伤程度。在分析过程中,提取了 Hudgins 时域特征,并使用线性判别分析 (LDA) 和人工神经网络 (ANN) 进行分类。平均而言,在离线分析中,LDA 和 ANN 分别准确分类了 63.86% ± 4.3% 和 67.1% ± 7.9% 的动作。我们发现,在两个分类器中,某些动作的表现都优于其他动作(LDA p < 0.001,ANN p = 0.014)。计算了 FMA 分数和分类准确度之间的 Spearman 相关性 (ρ)。结果表明,两者之间存在中等正相关性(LDA ρ = 0.75,ANN ρ = 0.55)。本研究结果表明,可以开发家庭 EMG 系统来提供定制治疗,以改善中风患者的功能性下肢运动。
人工智能技术有潜力帮助聋哑人士交流。由于手势碎片化的复杂性和捕捉手势的不足,作者提出了一种基于 Deep SLR 的手语识别 (SLR) 系统和可穿戴表面肌电图 (sEMG) 生物传感设备,可将手语转换为印刷信息或语音,让人们更好地理解手语和手势。在前臂上安装了两个臂带,臂带上装有生物传感器和多通道 sEMG 传感器,可以很好地捕捉手臂和手指的动作。Deep SLR 在 Android 和 iOS 智能手机上进行了测试,并通过全面测试确定了它的实用性。Sign Speaker 在用智能手机和智能手表识别双手手势方面存在相当大的局限性。为了解决这些问题,本研究提出了一种新的实时端到端 SLR 方法。连续句子识别的平均单词错误率为 9.6%,检测信号并识别一个包含六个手势词的句子需要不到 0.9 秒的时间,证明了 Deep SLR 的识别能力。
运动想象是针对无法执行真实动作的人的一种替代康复策略。然而,它在多大程度上涉及激活深层肌肉结构仍存在争议,而这无法通过表面肌电图 (SEMG) 检测到。16 名身体健全的参与者在四种条件下进行基于提示的等长踝关节跖屈(主动运动),然后进行主动放松:执行具有两个肌肉收缩水平的运动(完全执行和尝试的运动,EM 和 AM)以及有和没有可检测到的肌肉抽搐的运动想象(IT 和 I)。在各种条件下比较了运动相关皮质电位 (MRCP) 的最突出峰值和独特阶段。超声成像 (USI) 和 SEMG 用于检测运动。与 I 和 AM 相比,IT 在主动运动准备和再传入阶段显示出空间上明显的差异;在主动运动执行期间和主动放松准备期间的后部发现 IT 和 AM 之间存在更广泛的差异。 EM 和 AM 在主动运动计划期间在正面表现出最大差异,而在执行主动放松期间在背面表现出最大差异。运动准备阳性 P1 在 IT 和 AM 之间表现出显著的幅度差异,但在 IT 和 I 之间没有差异。USI 可以比 SEMG 更好地检测潜意识运动(抽搐)。MRCP 是一种对不同程度的肌肉收缩和放松敏感的生物标志物。IT 是一种与 I 和 AM 均可区分的运动状态。EEG 运动生物标志物可用于识别在主动收缩或主动放松期间表现出的病理状况。
自计算机出现以来,人类一直在寻求富有表现力、直观且通用的计算机输入技术。虽然已经开发了多种模式,包括键盘、鼠标和触摸屏,但它们需要与中间设备进行交互,这可能会受到限制,尤其是在移动场景中。基于手势的系统利用摄像头或惯性传感器来避免使用中间设备,但它们往往只在不被遮挡或明显的动作中表现良好。几十年来,人们一直在设想脑机接口 (BCI),通过允许仅通过思维向计算机输入来解决接口问题。然而,高带宽通信仅使用为单个个体设计的解码器的侵入式 BCI 进行了演示,因此无法扩展到普通大众。相比之下,肌肉中的神经运动信号可以访问细微的手势和力量信息。在这里,我们描述了一种非侵入式神经运动接口的开发,该接口允许使用表面肌电图 (sEMG) 进行计算机输入。我们开发了一个高度灵敏且强大的硬件平台,该平台易于佩戴/脱下,可感知手腕上的肌电活动并将有意的神经运动命令转换为计算机输入。我们将此设备与一个经过优化的基础设施配对,该基础设施可从数千名同意的参与者那里收集训练数据,这使我们能够开发通用的 sEMG 神经网络解码模型,该模型适用于许多人,而无需对每个人进行校准。未包括在训练集中的测试用户在连续导航任务中以每秒 0.5 次目标获取、在离散手势任务中以每秒 0.9 次手势检测和每分钟 17.0 个调整字的速度展示手势解码的闭环中值性能。我们证明,通过为个人个性化 sEMG 解码模型,输入带宽可以进一步提高 30%,预计未来人类和机器将共同适应,提供无缝翻译人类意图的功能。据我们所知,这是第一个直接利用生物信号的高带宽神经运动接口,具有跨人群的高性能开箱即用泛化功能。
自计算机出现以来,人类一直在寻求富有表现力、直观且通用的计算机输入技术。虽然已经开发了多种模式,包括键盘、鼠标和触摸屏,但它们需要与中间设备进行交互,这可能会受到限制,尤其是在移动场景中。基于手势的系统利用摄像头或惯性传感器来避免使用中间设备,但它们往往只在不被遮挡或明显的动作中表现良好。几十年来,人们一直在设想脑机接口 (BCI),通过允许仅通过思维向计算机输入来解决接口问题。然而,高带宽通信仅使用为单个个体设计的解码器的侵入式 BCI 进行了演示,因此无法扩展到普通大众。相比之下,肌肉中的神经运动信号可以访问细微的手势和力量信息。在这里,我们描述了一种非侵入式神经运动接口的开发,该接口允许使用表面肌电图 (sEMG) 进行计算机输入。我们开发了一个高度灵敏且强大的硬件平台,该平台易于佩戴/脱下,可感知手腕上的肌电活动并将有意的神经运动命令转换为计算机输入。我们将此设备与一个经过优化的基础设施配对,该基础设施可从数千名同意的参与者那里收集训练数据,这使我们能够开发通用的 sEMG 神经网络解码模型,该模型适用于许多人,而无需对每个人进行校准。未包括在训练集中的测试用户在连续导航任务中以每秒 0.5 次目标获取、在离散手势任务中以每秒 0.9 次手势检测和每分钟 17.0 个调整字的速度展示手势解码的闭环中值性能。我们证明,通过为个人个性化 sEMG 解码模型,输入带宽可以进一步提高 30%,预计未来人类和机器将共同适应,提供无缝翻译人类意图的功能。据我们所知,这是第一个直接利用生物信号的高带宽神经运动接口,具有跨人群的高性能开箱即用泛化功能。
先前的研究表明,通过表面肌电图(SEMG)进行RT肌肉收缩模式评估可以将帕金森震颤(交替模式)与其他RT综合症区分开而不会损害多巴胺能系统(通常显示同步模式)(7-15)。与姿势震颤不同,通常会随着时间的流逝显示震颤特征的可变性,并且在交替和同步模式之间自发移动(13,16),休息震动显示出非常稳定的图案,并且在多个记录中也显示出非常稳定的模式(10-13)。我们最近开发了一种小型,用户友好的环形可穿戴设备,称为“ RT环”,通过将其戴在颤抖的手指上,可以估计RT模式,这是一种震颤特征,已证明可以准确预测Datscan结果(10)。RT环基于震颤惯性数据采用了健壮的机器学习技术(17),克服了SEMG的主要局限性(专业知识和主观评估)。目前的研究的目的是研究RT环的性能在区分有或没有纹状体多巴胺能缺陷的RT患者(以Datscan作为地面真理)中,确立了该便携式和用户友好的设备作为RT患者在常规临床实践中的多巴胺成像的替代生物标志物的作用。
虚拟现实(VR)的进步减少了用户的经验不同。但是,现实与虚拟性之间的差距持续存在,这些任务需要以微妙的方式将用户的多模式物理技能与虚拟环境结合在一起。当物理性感觉不真实时,在VR EASILY中断中的用户实施例,尤其是当用户调用其天生的偏爱以触摸和操纵他们遇到的事物时。在这项研究中,我们研究了力量意识到的VR接口的潜力,可以使自然连接与用户物理学,并在高技能触摸案例中对其进行评估。将表面肌电图(SEMG)与视觉跟踪相结合,我们开发了一个基于端到端学习的系统,势力,从其前臂SEMG信号中解码用户的灵活的手指力,以直接在标准VR管道中使用。这种方法消除了对手持式触觉设备的需求,从而促进了自然实施。一系列有关VR中的操纵任务的用户研究,该势力比替代解决方案更准确,更健壮和直观。两个概念证明VR应用程序,书法和钢琴演奏,证明了Vi-Sual,听觉和触觉方式之间的良好协同作用,因为ForceSense提供了提高用户在VR中的任务学习表现的潜力。我们的源代码和受过训练的模型将在https:// github上发布。com/nyu-icl/vr-force-aware-multimodal-Interface。
目的:双腿、串联和左右单腿站立(DLS、TS、L-SLS 和 R-SLS)的总时间通常用于评估老年人的稳定性。为了提供老年人运动控制能力的详细信息,肌肉活动数据至关重要。背景:几种站立测试已用于评估老年人未来跌倒的可能性。将肌肉活动数据与站立测试一起纳入稳定性分析,将提供更可靠的姿势稳定性定量指标。方法:我们收集了 22 名老年参与者(70.3±4.2 岁)每条腿六块肌肉的表面肌电图 (sEMG) 数据,并使用大脑运动控制评估 (BMCA) 协议对其进行评估,重点关注幅度和相似性指数 (SI)。15 名能够保持站立至少 10 秒或更长时间的参与者组成对照组,而 7 名保持站立时间少于 10 秒的参与者被分为测试组。结果:对于右侧单腿站立 (R-SLS),对照组显示为 28.1(±3.5) 秒,而测试组平均为 8.9(±4.6) 秒。对照组所有站立姿势的总平均 EMG 幅度为 120.0(±45.6) uV,而测试组为 131.6(±75.5) uV (p > 0.56)。对照组的 SI 为 0.94(±0.04),测试组为 0.84(±0.15) (p < 0.02)。右侧和左侧之间没有发现显著差异。值得注意的是,两名测试组参与者在所有站立姿势下的 SI 值都很低(平均 SI = 0.69±0.16 和 0.60±0.12)。结论:我们应用 BMCA 协议来分析健康老年人在站立测试期间的 sEMG 模式。相似性指数有望成为一种有效的筛查工具,用于识别存在稳定性问题的人。此外,BMCA 协议可用于在各种稳定性测试中监测老年人的运动控制能力。应用:本研究使用 BMCA 协议评估这些姿势下的 sEMG,表明 SI 和维持时间可能是识别平衡困难的老年人的有效筛查工具。关键词:肌电图、单腿姿势、相似性指数、脑运动控制评估 (BMCA)、筛查工具
摘要:肌电图 (EMG) 是肌肉收缩产生的电活动的量度。基于非侵入性表面肌电图 (sEMG) 的模式识别方法已显示出上肢假肢控制的潜力。然而,它仍然不足以进行自然控制。深度学习的最新进展表明生物信号处理取得了巨大进步。已经提出了多种架构,可为离线分析提供高精度 (> 95%),但由于系统优化而导致的延迟仍然是实时应用的挑战。由此产生了对基于微调超参数的优化深度学习架构的需求。尽管实现收敛的机会是随机的,但重要的是要注意,所获得的性能提升足以证明额外的计算是合理的。在本研究中,我们利用卷积神经网络 (CNN) 解码 18 位受试者记录的 sEMG 数据中的手势,以研究超参数对每个手势的影响。结果表明,将学习率设置为 0.0001 或 0.001,并进行 80-100 次训练,其效果显著优于其他考虑因素 (p < 0.05)。此外,我们还观察到,无论网络配置如何,某些动作(握紧手、屈手、伸手和细握)在整个研究过程中表现更好(分别为 83.7% ± 13.5%、71.2% ± 20.2%、82.6% ± 13.9% 和 74.6% ± 15%)。因此,可以根据表现最佳的手部动作设计出稳健稳定的肌电控制。随着识别能力的提高和性能的统一提升,基于深度学习的方法有可能成为传统机器学习算法的更强大的替代方案。