初级运动皮层 (M1) 的潜在动力学模型揭示了运动控制背后的基本神经计算;然而,这种模型往往忽略了感觉反馈的影响,感觉反馈可以不断更新皮层动力学并纠正外部扰动。这表明迫切需要对感觉反馈和内在动力学之间的相互作用进行建模。这种模型还有利于实时解码神经活动的脑机接口 (BCI) 的设计,其中用户学习和熟练控制都需要反馈。在这里,我们研究了皮层动力学的灵活反馈调节,并展示了它对 BCI 任务性能和短期学习的影响。通过在简单的 2D 到达任务(类似于 BCI 光标控制)上使用实时感觉反馈训练循环网络模型,我们展示了如何将以前报告的 M1 活动模式重新解释为由反馈驱动的动力学引起的。接下来,通过在 M1 上游加入自适应控制器,我们做出了一个可测试的预测:除了 M1 内循环连接的可塑性之外,M1 输入的可塑性(包括感官反馈的重新映射)还促进了新 BCI 解码器的短期学习。这种输入驱动的动态结构还决定了适应速度和学习成果,并解释了学习变异性的连续形式。因此,我们的工作强调了对运动控制的输入相关潜在动力学进行建模的必要性,并阐明了学习限制是如何从神经活动的统计特征和底层动态结构中产生的。
1. 本手册经批准供国防部所有部门和机构使用。 2. 本手册中包含的标准是定性的。有关具体标准的更具体指导和背景,可在本手册引用的联合服务规范指南 (JSSG) 和第 14 章《联邦法规》中找到。另请注意,每个部分都包含一个典型认证源数据列表,可用于评估系统是否符合该部分的标准。标准中使用的术语(例如“可接受”)是参数,其具体定义必须由实施办公室根据每个独特的航空系统确定和记录。 3. 请注意,在电子版中,手册第 4 至 19 节中以蓝色突出显示的段落标题或文本是指向附录技术联系人表中书签的内部超链接。单击蓝色上的鼠标光标将跳转到表中引用的位置。要从技术联系人表格返回到手册中的跳转点,请使用菜单栏上的后退箭头 � 键(启用 View-Toolbars-Web 以获取后退箭头工具)。文档中灰色阴影的内部交叉引用执行类似操作。4. 有关本文档的评论、建议或问题应发送至(ASC/ENOS,2530 Loop Road West,Wright-Patterson AFB OH 45433-7101)或发送电子邮件至(Engineering.Standards@wpafb.af.mil)。由于联系信息可能发生变化
摘要:已经提出,神经系统具有产生21种动作的能力,因为它重新使用了一些不变的代码。先前的工作已经确定,在不同运动中,动态23的神经种群活动的22个动态是相似的,其中动态23是指人口活动的瞬时空间模式如何变化。在这里,我们测试24神经种群的不变动态是否实际上用于发出25个直接运动的命令。使用脑机界面,该脑机界面将猕猴的26皮层活性转化为神经假体光标的命令,我们发现在不同运动中具有不同的神经活动模式发出了相同的27命令。然而,28这些不同的模式是可以预测的,因为我们发现活动29模式之间的过渡受到跨运动的相同动力的控制。这些不变动态是30个低维的动力学,并且在批判性地与脑机界面保持一致,因此它们预测了31个神经活动的特定组成部分,实际上发出了下一个命令。我们引入了32个最佳反馈控制模型,该模型表明不变动态可以帮助将33个运动反馈转换为命令,从而减少了神经人口需要34控制运动的输入。总的来说,我们的结果表明,不变的动态驱动器命令35可以控制各种动作,并显示如何与不变的36动力学集成反馈以发出可通用的命令。37
鼠标是人机交互 (HCI) 技术的一项伟大发明。目前,无线鼠标或蓝牙鼠标仍然使用设备,并且并非完全摆脱设备,因为它使用电池供电并使用加密狗将其连接到 PC。在所提出的 AI 虚拟鼠标系统中,可以通过使用网络摄像头或内置摄像头捕捉手势并使用计算机视觉检测手指尖来克服这一限制。系统中使用的算法利用了机器学习算法。基于手势,可以虚拟控制计算机,并且可以执行左键单击、右键单击、滚动功能和计算机光标功能,而无需使用物理鼠标。该算法基于深度学习来检测手部。因此,所提出的系统将通过消除人为干预和对设备控制计算机的依赖来避免 COVID-19 传播。Python 编程语言用于开发 AI 虚拟鼠标系统,此外,AI 虚拟鼠标系统还使用了计算机视觉库 OpenCV。在所提出的 AI 虚拟鼠标系统中,该模型利用 MediaPipe 包来跟踪手部和手尖,同时还利用 Py input、Autopy 和 PyAutoGUI 包在计算机窗口屏幕上移动以执行左键单击、右键单击和滚动等功能。所提出的模型的结果显示出非常高的准确度,并且所提出的模型可以在使用 CPU 而无需使用 GPU 的情况下在实际应用中很好地工作。
通过视觉引导手部动作进行的计算机交互通常采用抽象的基于光标的反馈或不同程度真实感的虚拟手 (VH) 表示。目前尚不清楚在虚拟现实环境中更改这种视觉反馈的效果。在这项研究中,19 名健康的右撇子成年人使用四种不同类型的视觉反馈执行食指运动(“动作”)和观察运动(“观察”):简单的圆形光标 (CU)、指示手指关节位置的点光 (PL) 图案、阴影卡通手 (SH) 和逼真的 VH。使用数据手套记录手指运动,并以光学方式记录眼动追踪。我们使用功能性磁共振成像 (fMRI) 测量大脑活动。与基线相比,动作和观察条件均显示枕颞皮质中的 fMRI 信号响应更强。动作条件还会引起运动、体感、顶叶和小脑区域的双侧激活增加。对于这两种情况,带有移动手指的手部反馈(SH、VH)比 CU 或 PL 反馈导致更高的激活,特别是在早期视觉区域和枕颞皮质中。我们的结果表明,与视觉不完整的手部和抽象反馈相比,在视觉引导的手指运动过程中,皮质区域网络的募集更强。这些信息可能对研究和应用或训练相关范例中涉及人体部位的视觉引导任务的设计产生影响。
应用示例 ................................................................................................................ 37 进行简单测量 .............................................................................................................. 38 使用自动量程检查一系列测试点 .............................................................................. 43 使用隔离通道分析差分通信信号 .............................................................................. 44 查看数学瞬时功率波形 ............................................................................................. 45 进行光标测量 ............................................................................................................. 46 分析信号细节 ............................................................................................................. 50 捕获单次信号 ............................................................................................................. 51 测量传播延迟 ............................................................................................................. 53 特定脉冲宽度触发 ............................................................................................................. 54 视频信号触发 ............................................................................................................. 55 查看网络中的阻抗变化 ............................................................................................. 59 数学 FFT ............................................................................................................. 61 设置时域波形 .............................................................................................
摘要 — 目的:基于脑电图的脑机接口 (BCI) 是一种非侵入性方法,可用于替代或恢复受损患者的运动功能,并可直接在普通人群中进行脑与设备之间的通信。运动意象 (MI) 是最常用的 BCI 范式之一,但其表现因人而异,某些用户需要大量训练才能掌握控制技巧。在本研究中,我们建议同时将 MI 范式与最近提出的明显空间注意 (OSA) 范式相结合,以实现 BCI 控制。方法:我们评估了 25 名人类受试者在 5 个 BCI 会话中控制一维和二维虚拟光标的能力。受试者使用了 5 种不同的 BCI 范式:单独 MI、单独 OSA、同时朝着同一目标进行 MI 和 OSA (MI+OSA),以及 MI 用于一个轴而 OSA 控制另一个轴 (MI/OSA 和 OSA/MI)。结果:我们的结果表明,MI+OSA 在 2D 任务中达到了最高平均在线性能,为 49% 有效正确率 (PVC),在统计上优于单独的 MI (42%),并且高于单独的 OSA (45%),但不具有统计意义。MI+OSA 在单独的 MI 和单独的 OSA (50%) 之间与每个受试者的最佳个人方法的性能相似,并且 9 名受试者使用 MI+OSA 达到了最高平均 BCI 性能。结论:在群体层面上,将 MI 和 OSA 结合起来可以比单独的 MI 提高性能,并且对于某些受试者来说是最佳的 BCI 范式选择。意义:这项工作提出了一种新的 BCI 控制范式,它集成了两个现有的范式,并通过展示它可以提高用户的 BCI 性能来证明其价值。
键/符号 解释 Windows PC 键盘有一个 Windows 键,看起来像一个四窗格窗口 命令 Apple Mac 电脑有一个命令键。 菜单 PC 键盘还有一个菜单键,看起来像指向菜单的光标。 Esc Esc(Esc)键 F1 - F12 有关键盘键 F1 到 F12 的信息。 F13 - F24 有关键盘键 F13 到 F24 的信息。 Tab Tab 键 Caps lock Caps lock 键 Shift Shift 键 Ctrl Ctrl(Control)键 Fn Fn(功能)键 Alt Alt(备用)键(仅限 PC;Mac 用户有 Option 键) 空格键 空格键 箭头 向上、向下、向左、向右 箭头键 Back Space 退格键(或 Backspace)键 Delete Delete 或 Del 键 Enter Enter 键 Prt Scrn Print screen 键 Scroll lock Scroll lock 键 Pause Pause 键 Break Break 键 Insert Insert 键 Home Home 键 Page up Page up 或 pg up 键 Page down Page down 或 pg dn 键 End End 键 Num Lock Num Lock 键 ~ Tilde ` 尖音符、反引号、重音符、重音符、左引号、左引号或按压!感叹号、惊叹号或 Bang @ Ampersat、Arobase、Asperand、At 或 At 符号 # Octothorpe、数字、磅号、升号或哈希 £ 英镑或英镑符号 € 欧元 $ 美元符号或通用货币 ¢ 美分符号 ¥ 人民币/日元 § 微或节 % 百分比 ° 度
在日常行为中,我们会执行许多包含一系列动作的目标导向手动任务。然而,关于此类任务中预测控制机制的发展方面,尤其是支持儿童连续手动动作的大脑激活方面,我们了解的有限。我们在青春期早期(11-14 岁)正常发育儿童中调查了这些问题,并与之前收集的成人数据进行了比较。参与者躺在磁共振成像 (MRI) 扫描仪中,使用手持操纵器将计算机屏幕上的光标移向连续呈现的目标。下一个目标要么在完成当前目标后显示(单目标条件),在这种情况下无法提前计划即将到来的动作,要么提前显示(双目标条件),这允许使用预测控制策略。成年人在双目标条件下完成的目标比在单目标条件下完成的目标多,显示出有效的预测控制策略。相比之下,儿童在两个目标条件下完成的目标比在单个目标条件下完成的目标要少,而且由于抑制过早动作的能力有限,实施预测策略存在困难。与成人相比,儿童大脑中激活程度更高的区域包括前额叶和后顶叶区域,这表明由于抑制挑战,儿童对高级认知处理的需求增加。因此,对于连续手动任务中的预测机制,关键发展可能发生在青春期早期之后。这比之前报告的其他手动任务的年龄要晚,这表明预测阶段的转变很难掌握。
† 同等贡献。*1760 Haygood Dr NE,亚特兰大,佐治亚州,美国。电子邮件:chethan [at] gatech.edu。简介:闭环实验是脑机接口 (BCI) 研究的关键组成部分。人工神经网络 (ANN) 是用于建模和解码神经活动的最先进的工具,但将其部署到闭环实验中却具有挑战性。研究人员需要一个框架,该框架既支持用于运行 ANN 的高级编程语言(例如 Python 和 Julia),又支持对低延迟数据采集和处理至关重要的语言(例如 C 和 C++)。为了满足这些需求,我们推出了 BRAND 实时异步神经解码系统 (BRAND)。材料、方法和结果:BRAND 可以在几乎任何标准 Linux 计算机上运行,并且由称为节点的进程组成,它们通过图中的数据流相互通信。BRAND 支持微秒精度的可靠实时执行,使其成为闭环神经科学和神经工程应用的理想平台。 BRAND 使用 Redis [1] 在节点之间发送数据,从而实现快速的进程间通信 (IPC)、对 54 种编程语言的支持以及跨多台计算机的分布式处理。开发人员只需进行极少的实施更改,即可在 BRAND 中无缝部署现有的 ANN 模型。在初步测试中,BRAND 在发送大量数据(1024 个通道的 30 kHz 模拟神经数据,以 1 毫秒的块为单位)时实现了快速的 IPC 延迟(<500 微秒)。BCI 控制通过一个图表进行测试,该图表通过以太网接收 30 kHz 微电极阵列电压记录,过滤和阈值化输入以获取尖峰,将尖峰分成 10 毫秒的箱体,应用解码模型,并更新光标在显示屏上的位置。在系统的初步演示中,BrainGate2 临床试验 (NCT00912041) 的参与者 T11 在径向 8 中心向外光标控制任务中实现了 2.84 ± 0.83 秒(53 次试验)的目标获取时间,其中 30 kHz 信号处理、线性解码、任务控制和图形均在 BRAND 中执行。未来的实验将结合 ANN;为了对 ANN 延迟进行基准测试,我们运行了基于 PyTorch 的循环神经网络解码器(10 个隐藏单元、30 个箱输入序列)并测量了延迟(N = 30,000 个数据包)。对于此配置,从信号输入到解码器预测的端到端延迟始终小于 2 毫秒(图 1)。我们还验证了 BRAND 可以实时运行两种流行的神经群体动态模型——通过动态系统进行潜在因子分析 (LFADS) [2] 和神经数据转换器 (NDT) [3],使用其原始的 Tensorflow 和 PyTorch 实现,每 10 毫秒箱(256 通道数据)的延迟低于 6 毫秒。讨论:BRAND 支持低延迟 ANN 推理,同时提供与闭环 BCI 研究所需的数据采集、信号处理和任务代码的无缝集成。意义:BRAND 凭借其模块化设计和广泛的语言支持,简化了将计算模型从离线分析转换为闭环实验的过程,利用 ANN 的强大功能来改善多种环境下的 BCI 控制。致谢:这项工作得到了埃默里神经调节和技术创新中心 (ENTICe)、NSF NCS 1835364、DARPA PA-18-02-04-INI-FP-021、NIH Eunice Kennedy Shriver NICHD K12HD073945、NIH-NINDS/OD DP2NS127291、阿尔弗雷德 P.斯隆基金会、Burroughs Wellcome 基金会、作为西蒙斯-埃默里国际运动控制 (CP) 联盟一部分的西蒙斯基金会、NIH NINDS NS053603、NS074044 (LEM)、NIH NIBIB T32EB025816 (YHA)、NIH-NIDCD U01DC017844 和退伍军人事务部康复研究与发展服务 A2295R (LRH) 的支持。参考文献:[1] Redis https://redis.io/ 。[2] Pandarinath 等人,2018 年,Nat Methods doi:10.1038/s41592-018-0109-9。[3] Ye 和 Pandarinath,2021 年,神经元行为数据分析理论 doi:10.1101/2021.01.16。42695。