这项研究是 BrainGate2 临床试验的一部分,重点研究如何将这些神经信号与机器学习相结合,为患有神经损伤或疾病的人提供外部设备控制的新选择。这位参与者于 2016 年开始与斯坦福大学的研究团队合作,几年后,脊髓损伤导致他无法使用手臂或腿。他有兴趣为这项工作做出贡献,并且对飞行特别感兴趣。
我们正在寻找一位积极进取、精力充沛、负责任且对神经技术感兴趣的人,加入麻省总医院神经技术和神经康复中心的领先团队,该中心是哈佛医学院的教学附属机构,全职担任临床神经技术研究助理 (CNRA),负责我们正在进行的脑机接口研究。我们研究的目标是开发和测试脑植入神经接口系统 (BrainGate2;www.braingate.org) 的安全性,旨在让身体残疾的人只需想象自己手的运动即可控制计算机或其他辅助设备。成功的候选人将站在这项研究的前线,与家中瘫痪的临床试验参与者一起工作,并按照 FDA 法规和研究计划履行职责。除了收集原始临床数据外,CNRA 还将与布朗大学领先的转化神经科学小组密切合作,进一步为瘫痪和肢体丧失的人开发有效的脑机接口。先决条件:
抽象的人工神经网络(ANN)是用于建模和解码神经活动的最先进工具,但是将它们部署在具有严格的正时限制的闭环实验中,因为它们在现有的实时框架中的支持有限,因此具有挑战性。研究人员需要一个平台,该平台完全支持高级语言的运行ANN(例如Python和Julia),同时维持对低延迟数据获取和处理至关重要的语言的支持(例如C和C ++)。为了满足这些需求,我们介绍了实时异步神经解码(品牌)的后端。品牌包括Linux过程,称为节点,它们通过数据流在图中相互通信。其异步设计允许在可能在不同时间范围内运行的数据流并行执行,并可以在不同的时间范围内并行执行分析。品牌使用REDIS在节点之间发送数据,该节点可以实现快速的过程间通信并支持54种不同的编程语言。因此,开发人员可以轻松地将现有的ANN模型部署在品牌中,并具有最小的实施变化。在我们的测试中,在发送大量数据时,品牌在过程之间达到了<600微秒的潜伏期(在1毫秒块中的1024个频道30 kHz神经数据)。品牌运行一个带有复发性神经网络(RNN)解码器的大脑计算机界面,从神经数据输入到解码器预测,延迟的延迟少于8毫秒。该系统还支持使用动态系统(例如潜在因子分析)进行复杂的潜在变量模型的实时推断。在系统的真实展示中,Braingate2临床试验中的参与者T11执行了标准的光标控制任务,其中30 kHz信号处理,RNN解码,任务控制和图形均在品牌中执行。通过提供一个快速,模块化和语言敏捷的框架,品牌降低了将神经科学和机器学习中最新工具集成到闭环实验中的障碍。
† 同等贡献。*1760 Haygood Dr NE,亚特兰大,佐治亚州,美国。电子邮件:chethan [at] gatech.edu。简介:闭环实验是脑机接口 (BCI) 研究的关键组成部分。人工神经网络 (ANN) 是用于建模和解码神经活动的最先进的工具,但将其部署到闭环实验中却具有挑战性。研究人员需要一个框架,该框架既支持用于运行 ANN 的高级编程语言(例如 Python 和 Julia),又支持对低延迟数据采集和处理至关重要的语言(例如 C 和 C++)。为了满足这些需求,我们推出了 BRAND 实时异步神经解码系统 (BRAND)。材料、方法和结果:BRAND 可以在几乎任何标准 Linux 计算机上运行,并且由称为节点的进程组成,它们通过图中的数据流相互通信。BRAND 支持微秒精度的可靠实时执行,使其成为闭环神经科学和神经工程应用的理想平台。 BRAND 使用 Redis [1] 在节点之间发送数据,从而实现快速的进程间通信 (IPC)、对 54 种编程语言的支持以及跨多台计算机的分布式处理。开发人员只需进行极少的实施更改,即可在 BRAND 中无缝部署现有的 ANN 模型。在初步测试中,BRAND 在发送大量数据(1024 个通道的 30 kHz 模拟神经数据,以 1 毫秒的块为单位)时实现了快速的 IPC 延迟(<500 微秒)。BCI 控制通过一个图表进行测试,该图表通过以太网接收 30 kHz 微电极阵列电压记录,过滤和阈值化输入以获取尖峰,将尖峰分成 10 毫秒的箱体,应用解码模型,并更新光标在显示屏上的位置。在系统的初步演示中,BrainGate2 临床试验 (NCT00912041) 的参与者 T11 在径向 8 中心向外光标控制任务中实现了 2.84 ± 0.83 秒(53 次试验)的目标获取时间,其中 30 kHz 信号处理、线性解码、任务控制和图形均在 BRAND 中执行。未来的实验将结合 ANN;为了对 ANN 延迟进行基准测试,我们运行了基于 PyTorch 的循环神经网络解码器(10 个隐藏单元、30 个箱输入序列)并测量了延迟(N = 30,000 个数据包)。对于此配置,从信号输入到解码器预测的端到端延迟始终小于 2 毫秒(图 1)。我们还验证了 BRAND 可以实时运行两种流行的神经群体动态模型——通过动态系统进行潜在因子分析 (LFADS) [2] 和神经数据转换器 (NDT) [3],使用其原始的 Tensorflow 和 PyTorch 实现,每 10 毫秒箱(256 通道数据)的延迟低于 6 毫秒。讨论:BRAND 支持低延迟 ANN 推理,同时提供与闭环 BCI 研究所需的数据采集、信号处理和任务代码的无缝集成。意义:BRAND 凭借其模块化设计和广泛的语言支持,简化了将计算模型从离线分析转换为闭环实验的过程,利用 ANN 的强大功能来改善多种环境下的 BCI 控制。致谢:这项工作得到了埃默里神经调节和技术创新中心 (ENTICe)、NSF NCS 1835364、DARPA PA-18-02-04-INI-FP-021、NIH Eunice Kennedy Shriver NICHD K12HD073945、NIH-NINDS/OD DP2NS127291、阿尔弗雷德 P.斯隆基金会、Burroughs Wellcome 基金会、作为西蒙斯-埃默里国际运动控制 (CP) 联盟一部分的西蒙斯基金会、NIH NINDS NS053603、NS074044 (LEM)、NIH NIBIB T32EB025816 (YHA)、NIH-NIDCD U01DC017844 和退伍军人事务部康复研究与发展服务 A2295R (LRH) 的支持。参考文献:[1] Redis https://redis.io/ 。[2] Pandarinath 等人,2018 年,Nat Methods doi:10.1038/s41592-018-0109-9。[3] Ye 和 Pandarinath,2021 年,神经元行为数据分析理论 doi:10.1101/2021.01.16。42695。
