视觉运动整合塑造了我们的日常体验,并支撑了我们对行为的控制感。过去十年,机器人和虚拟介导的交互激增,身体动作最终导致人为运动。但是,尽管应用数量不断增加,但在动态条件下人机交互过程中视觉运动处理的神经生理相关性仍然很少。在这里,我们通过采用能够跟踪自愿手部运动的双手机器人界面来解决这个问题,并将其实时呈现为两只虚拟手的运动。我们通过空间和时间冲突实验性地操纵虚拟现实中的视觉反馈,并研究了它们对 (1) 视觉运动整合和 (2) 成为自己行为作者的主观体验(即代理感)的影响。使用脑电图测量的体感诱发反应,我们研究了当运动命令和视觉反馈之间的整合中断时发生的神经差异。我们的结果表明,右后顶叶皮层编码了一致和空间不一致交互之间的差异。实验操作还导致机器人介导动作的主动感下降。这些发现提供了坚实的神经生理学基础,可用于未来监测运动过程中的整合机制,并最终增强人机交互过程中的主观体验。
电动机皮层通过向下游神经电路发送时间模式来启动运动。运动执行过程中的模式被认为是由电机皮质网络中的内部动力学产生的。但是,外部输入(例如本体感受)也塑造了运动皮质动力学。为了调查内部动力学和本体感受反馈对自愿运动执行的贡献,我们构建了几种具有本体感受反馈的不同组合,以控制延迟到达任务中的人工手部运动。我们发现,抑制性稳定网络接收手运动学和肌肉力产生的模式与运动皮层神经元数据中观察到的模式最相似。此外,我们使用了一种破坏策略来剖析内部动力学和本体感受反馈的贡献,并发现内部动力学占主导地位,而本体感受反馈微调微型运动命令。消融实验表明,本体感受反馈改善了针对嘈杂的初始条件的鲁棒性。最后,考虑到本体感受途径中感觉反馈的延迟,噪声和来源,我们构建了一个感觉估计网络。我们的结果强调了在运动控制模型中整合内在体系结构和外部输入的必要性,从而促进了受脑启发的人工智能系统的发展。
摘要 — 神经控制运动的理论主要基于运动传感设备,这些设备可以捕捉预先定义的解剖标志的动态。神经肌肉接口,例如表面肌电图 (sEMG),理论上可以通过感知由运动的最终路径(运动单元)传输的运动命令来超越基于运动的技术所施加的限制。运动单元活动的记录可以连续地预测时间和空间中的动力学和运动学,而不受数码相机或惯性传感器所遭受的几个生物和物理限制。然而,目前的 sEMG 解码算法只能预测几个自由度(<3)。通过结合无标记机器视觉和高密度 sEMG 电极,我们旨在检验以下假设:受生理启发的深度神经网络可以像数码相机一样精确地重建人手的运动,并且还具有预测潜在力量(例如,抓住一杯咖啡)的额外好处。我们证明,我们的深度学习模型可以在自然运动任务中,通过仅放置在外部手部肌肉上的 320 个 sEMG 传感器,以可忽略不计的误差持续预测手部的所有自由度。我们的深度学习模型能够显示 3D 手部运动学和等长收缩期间手指的全部力量范围。目前的结果表明,将深度学习应用于 EMG 信号可以前所未有地表示最终的运动神经代码。
Abigail Russo 是 Meta Reality Labs 的一名研究科学家,她正在研究使用非侵入式腕戴式脑机接口扩展人类运动能力的策略。她在哥伦比亚大学师从 Mark Churchland 攻读博士学位,研究了自愿运动过程中的运动皮层网络功能,借鉴了人工神经网络的见解。 演讲题目:一种适用于整个人群的人机交互腕式表面肌电图神经运动接口 描述:我们描述了一种非侵入式神经运动接口的开发,该接口允许使用表面肌电图 (sEMG) 进行计算机输入。我们开发了一个高灵敏度和强大的硬件平台,可以轻松戴上/脱下,以感应手腕上的 sEMG 并将有意识的神经运动命令转换为计算机输入。我们将此设备与一个经过优化的基础设施配对,可以收集来自数千名同意的参与者的训练数据。这使我们能够开发通用的 sEMG 神经网络解码模型,该模型具有跨人群的高性能开箱即用泛化能力(测试用户在连续导航任务中的平均性能:0.5 次目标获取/秒;离散手势检测任务:0.9 个手势/秒;手写任务:19.6 个字/分钟)。
智能机器人系统和脑机接口 (BMI) 的进步帮助患有感觉运动障碍的个体恢复了功能和独立性;然而,由于通过用户输入以协调的方式控制多个肢体的多个自由度 (DOF) 的技术复杂性,需要双手协调和精细操作的任务仍然未得到解决。为了应对这一挑战,我们实施了一种协作共享控制策略来操纵和协调两个模块化假肢 (MPL) 以执行双手自我进食任务。一位在感觉运动大脑区域有微电极阵列的人类参与者向两个 MPL 发出命令来执行自我进食任务,其中包括双手切割。从双侧神经信号解码运动命令,以一次控制每个 MPL 上的最多两个 DOF。共享控制策略使参与者能够将其四自由度控制输入(每只手两个)映射到多达 12 个 DOF,以指定机器人末端执行器的位置和方向。通过使用神经驱动的共享控制,参与者成功同时控制了两个机械肢体的运动,从而在复杂的双手自主进食任务中切开和进食食物。通过 BMI 与智能机器人行为协作实现的双手机器人系统控制的演示对于恢复感觉运动障碍患者的复杂运动行为具有重要意义。
我们提出了一种规范的计算理论,说明神经回路如何在动态环境中支持视觉引导的目标导向动作。该模型建立在主动推理的基础上,通过动态最小化广义预测误差来推断感知和运动控制信号。后顶叶皮层 (PPC) 被认为可以保持对环境状态的不断更新的期望或信念,并通过灵活的意图操纵它们,参与动态生成目标导向动作。反过来,背侧视觉流 (DVS) 和本体感受通路实现了生成模型,将高级信念转化为感官级预测,以推断目标、姿势和运动命令。在目标到达任务中测试了一个包含视觉和本体感受传感器以及驱动上肢的概念验证代理。代理在各种条件下都表现正确,包括静态和动态目标、不同的感官反馈、感官精度、意图增益和运动策略;极限条件也是个性化的。因此,由动态和灵活意图驱动的主动推理可以支持不断变化的环境中的目标导向行为,而 PPC 则被认为是其核心意图机制的载体。更广泛地说,这项研究为端到端环境中的目标导向行为研究提供了规范基础,并进一步推进了主动生物系统的机制理论。
图 1 基于 SimGEN 的 GSS9000 GNSS 仿真系统示例 .............................................................................. 8 图 2 GSS7000 GNSS 仿真系统示例 .............................................................................................. 8 图 3 SimGEN 图形用户界面示例 ...................................................................................................... 9 图 4 场景树 ...................................................................................................................................... 10 图 5 车辆(天线)位置、运动和接收信号显示 ............................................................................. 11 图 6 卫星地面轨迹和天空图 ............................................................................................................. 11 图 7 典型的源编辑器 ................................................................................................................ 12 图 8 典型的星座编辑器 – 显示 GPS ............................................................................................. 13 图 9 卫星地面轨迹 ............................................................................................................................. 14 图 10 信号内容定义 – 显示 GPS ............................................................................................. 15 图 11 大气模型系数 ................................................................................................................ 16 图 12 定义车辆性能范围的个性编辑器 ................................................................................. 18 图13 赛道编辑器 ................................................................................................................................ 19 图 14 圆周运动编辑器 ...................................................................................................................... 20 图 15 飞机运动命令编辑器 ................................................................................................................ 21 图 16 航天器位置编辑器 ................................................................................................................ 24 图 17 地形遮挡编辑器 ...................................................................................................................... 26 图 18 天线模式编辑器 ...................................................................................................................... 27 图 19 天线杠杆臂 ............................................................................................................................. 27 图 20 Sim3D™ 环境表示 ................................................................................................................ 28 图 21 统计多径类别掩模编辑器 ............................................................................................................. 29 图 22 GTx 的功率与距离建模 ..................................................................................................... 31 图 23 快速查看选择和记录 ............................................................................................................. 32 图 24 数据流 ............................................................................................................................. 33 图 25 信号类型选择 ............................................................................................................................. 34 图 26 GBAS 消息类型 1 和 2 编辑器示例 ...................................................................................... 38
用于中风后运动康复的脑机接口 (BCI) 系统已证明其通过加强与运动相关的大脑活动来促进上肢运动恢复的有效性。混合 BCI (h-BCI) 利用中枢和外周激活,常用于辅助 BCI 以提高分类性能。然而,在康复环境中,应提取大脑和肌肉特征以促进良好的运动结果,不仅加强中枢运动系统中的意志控制,而且还加强将运动命令有效投射到目标肌肉,即中枢到外周的通信。出于这个原因,我们考虑将皮质肌肉耦合 (CMC) 作为专用于中风后上肢运动康复的 h-BCI 的一个功能。在本研究中,我们对 13 名健康参与者 (CTRL) 和 12 名中风患者 (EXP) 在执行(CTRL,EXP 未受影响的手臂)和尝试(EXP 受影响的手臂)手抓握和伸展时进行了伪在线分析,以优化 CMC 计算和基于 CMC 的运动检测从离线到在线的转换。结果表明,每 125 毫秒更新一次 CMC 计算(滑动窗口的移位)并在最终分类决策之前积累两个预测是运动分类准确性和速度之间的最佳平衡,与运动类型无关。对中风参与者的伪在线分析表明,尝试和执行的抓握/伸展都可以通过基于 CMC 的运动检测进行分类,并且在分类速度方面具有很高的性能(运动检测到 EMG 开始之间的平均延迟约为 580 毫秒)
所有电动机命令都会收敛到电动机单元(MUS),这些电动机将信号转移到肌肉纤维的机械作用中。由于离子(兴奋性/抑制性)和代谢性(神经调节)输入的组合,此过程是高度非线性的。神经调节输入有助于树突持续的内向电流,这引入了MU放电模式中的非线性,并为运动命令的结构提供了见解。在这里,我们研究了神经调节的相对贡献和抑制模式,以最大70%的收缩力调节人MU排出模式。利用从三种人体肌肉(胫骨前 - TA,ta和巨大的外侧和内膜)鉴定出的MU排出模式,我们表明,随着收缩力增加,发作偏移率滞后率(ΔF)增加了升级的MU放电模式,而s升则增加了线性,并较低。在后续实验中,我们证明了增加δF的观察结果和更线性的上升MU放电模式,即使在收缩持续时间和力率增加时,也可以保持更大的收缩力。然后,我们使用在硅运动神经池中高度逼真的逆转ta Mu放电模式来证实人类记录中推断出的生理机制。我们证明了一个严格的限制性解决方案空间,通过这种空间,只有通过增加的神经调节和更相互的互惠来重新创建收缩力引起的实验获得的MU放电模式的变化(即推扣)抑制模式。总而言之,我们的实验和计算数据表明,神经调节和抑制模式的形状是独特的,以产生放电模式,这些模式支持力在大部分运动池募集范围内增加。
摘要简介脊髓损伤(SCI)是一种毁灭性的状况,对个人的健康和生活质量有直接影响。尽管进行了深入的康复训练,但在受伤后3-4个月就达到了高原。为了提高训练功效并提高了长期结局,康复与脊髓和大脑的电调节的结合最近引起了科学兴趣,令人鼓舞的结果。中脑运动区域(MLR)是一种进化保守的脑干运动命令和控制中心,被认为是SCI患者深脑刺激(DB)的有希望的目标。实验表明,MLR-DBS可以诱导脊柱白质破坏> 85%的大鼠的运动。在这项前瞻性单臂多中心研究中,我们研究了MLR-DBS的安全性,可行性和治疗功效,以在严重影响的,亚chronic和慢性美国脊柱损伤关联量表C患者中启用和增强运动训练,以提高功能恢复。患者接受MLR-DBS的强化培训计划,同时定期跟踪直到植入后6个月。将每个时间点的获得的数据与基线进行比较,而主要终点是6分钟步行测试中的性能。临床试验方案是根据标准协议项目编写的:介入试验清单的建议。伦理和传播这项第一项人类研究研究了SCI患者MLR-DBS的治疗潜力。一名患者已经被电极植入,并在运动过程中接受了MLR刺激。基于有望安全性和可行性的初步结果,目前正在进行进一步的患者的招募。伦理批准已从苏黎世广州的道德委员会(BASEC 2016-01104)和瑞士(10000316)获得。结果将在同行评审的期刊上发表,并在会议上介绍。试用注册号NCT03053791。