脑机接口(BCI)是一种通过分析脑电信号识别个体意图或状态,进而控制计算机或机器的技术,广泛应用于各个领域。然而,脑机接口的研究多集中在运动想象方面,而对主动运动的研究多集中在上肢运动方面,而对下肢运动的研究多集中在静态或单一动作方面。因此,本研究基于动态环境下的脑电信号开发了对步行行为(1:步行,2:上楼,3:下楼)进行分类的深度学习模型,以验证对动态状态下的脑电信号进行分类的可能性。我们开发了一种结合卷积神经网络(CNN)和双向长短期记忆(BiLSTM)的模型。该模型获得了82.01%的平均识别性能,其中步行的平均准确率为93.77%,上楼的平均准确率为76.52%,下楼的平均准确率为75.75%。预计未来可以设计出各种旨在帮助残疾人和老年人的机器人设备,它们具有多种功能,例如人机交互、物体操纵和利用 BCI 进行控制的路径规划。
对于瘫痪患者来说,无法交流是他们疾病中最痛苦的部分之一。语音脑机接口 (BCI) 可以通过将人们说话时的神经模式转化为句子,从而帮助人们克服这一问题。我们构建了一个管道,该管道由一个 RNN 组成,用于解码神经数据,一个 n-gram 语言模型 (LM),用于输出按可能性排序的可能单词序列列表,以及一个 Transformer 大型语言模型 (LLM),用于选择最可能的序列。我们在 LLM 中实现了对话上下文,其中为模型提供了额外的上下文信息以提高字错误率 (WER),并执行了结构化的超参数搜索。我们发现,在不同的上下文长度下,性能差异并不大,但最佳上下文窗口为 1,000 个字符,最终 WER 为 14.0%,比原始(无上下文)的 WER 16.7% 有所改善。在 600 个测试短语中,我们只能找到 170 个的上下文,有上下文的句子的 WER 为 10.6%。此外,我们使用 OpenAI 的 ChatGPT 直接评估句子,虽然没有成功,但可以提供可解释的结果。我们尝试了不同的 OPT 模型大小,但发现第二大模型(6.7B 参数)以微弱优势取得了最佳结果。
杰斐逊数字共享将这篇文章带给您免费和开放访问。Jefferson Digital Commons是Thomas Jefferson大学教学中心(CTL)的服务。Commons是杰斐逊书籍和期刊的展示,经过同行评审的学术出版物,大学档案馆的独特历史收藏以及教学工具。Jefferson Digital Commons允许研究人员和感兴趣的读者在世界任何地方学习并与Jefferson奖学金保持最新状态。本文已被杰斐逊数字共享的授权管理员接受,以纳入药理学和实验治疗学院的教师论文。有关更多信息,请联系:jeffersondigitalcommons@jefferson.edu。
[8]小松孝徳,秋山広美: ユーザの直感的表现を支援するオノマトペ表现システム,电子情报通信学会论文志 A,Vol.92, No.11, pp.752‒763 (2009).[9] Kanero, J., Imai, M., Okuda, J., Okada, H. and Matsuda, T.: How Sound Symbolism Is Processed in the Brain: A Study on Japanese Mimetic Words, PLOSONE, Vol.9, No.5, pp.1‒8 (2014).[10] Vigliocco, G., Zhang, Y., Del Maschio, N., Todd, R. and Tuomainen, J.: Electrophysiological signatures of English onomatopoeia, Language and Cognition, Vol.12, No.1, pp.15‒35 (2020).
摘要 — 脑机接口是一个庞大的科学领域,有许多竞争性设计正在使用或测试中。该项目的目标是汇编有关犹他阵列、密歇根探针、神经织网(也称为网状电子)、Neuralink 和 Stentrode 的信息,并比较每种设计的优缺点。特别令人感兴趣的是材料参数、电极数量、异物反应严重程度、热量产生、电极深度、测量动作电位的平均大小和信噪比。比较结果如下:网状电子和 Stentrode 非常有前景,因为它们完全避免了传统的异物反应和细胞死亡问题,但后者以长期使用抗凝剂的风险来换取这些。犹他阵列在所有参数方面都比任何其他研究设计存在更多问题,包括当代的密歇根探针,尽管它们都使用相同的主要材料——硅。研究发现,严格比较这两种设计的实验研究严重缺乏,一旦这些设计再次可用于进一步的医学研究,这种缺乏可能会变得更加明显。
2023 年初,埃隆·马斯克的 Neuralink 宣布,他们将在获得医院机构审查委员会的批准后开始招募参与者。这项批准意味着 Neuralink 可以进行实验性大脑植入,以“让人们能够仅使用自己的思想来控制计算机光标或键盘”(Neuralink,2023 年)。2024 年 1 月,Neuralink 将芯片植入参与者的大脑。随着 Neuralink 的第一位患者取得了非凡的里程碑,进展仍在继续。据报道,这位 29 岁的男子因车祸瘫痪,仅凭自己的思想就能玩电子游戏并在 X 上发帖(路透社,2024 年)。Neuralink 首次人体临床试验的批准引起了媒体的极大关注。在本白皮书中,我们将简要介绍脑机接口 (BCI) 的背景,包括最近的发展、当前和潜在的应用领域,以及它对教育和研究的可能影响。我们将涉及与 BCI 相关的伦理考量,但我们的讨论不会深入探讨这一方面。我们从案头研究和对三位专家的采访中收集了见解:
2023 年初,埃隆·马斯克的 Neuralink 宣布,他们将在获得医院机构审查委员会的批准后开始招募参与者。这项批准意味着 Neuralink 可以进行实验性脑植入,“让人们能够仅用自己的思想来控制计算机光标或键盘”(Neuralink,2023 年)。 2024 年 1 月,Neuralink 在参与者的大脑中植入了一块芯片。 Neuralink 的第一位患者达到了一个重要的里程碑,进展仍在继续。据报道,这位 29 岁的年轻人在车祸中瘫痪,但他可以仅凭自己的想法玩电子游戏并在 X 上发布消息(路透社,2024 年)。 Neuralink首次人体临床试验的批准受到了媒体的广泛关注。在本白皮书中,我们将简要讨论脑机接口 (BCI) 的背景和最新发展、当前和潜在的应用领域以及对教育和研究的可能影响。我们将讨论有关 BCI 的道德考虑,但我们的讨论不会深入探讨这一方面。我们通过案头研究和对三位专家的采访收集了以下见解:
执行功能 (EF) 是我们一生中身心健康、学业成就、社会发展和心理健康的一项基本技能。它是指一系列自上而下的控制过程,当依赖自动反应、本能或直觉是不明智、不足或不可能时使用 (Diamond, 2013)。这些过程主要包括抑制控制、工作记忆、认知灵活性、推理、解决问题和计划 (Cristofori et al., 2019)。然而,从儿童到青少年时期,EF 都不成熟 (Tervo-Clemmens et al., 2023)。此外,ADHD、ASD、阿尔茨海默病和脑损伤等各种因素都可能阻碍 EF,导致执行功能障碍 (Negut et al., 2016)。在本研究中,我们将讨论 EF 的评估和训练,以帮助患有 EF 障碍的儿童和个人在未来使用先进的计算机技术发展这些功能。传统的 EF 评估通常涉及神经心理学测试、行为清单、观察、访谈和工作样本(Lezak,2004;Cristofori 等人,2019)。最近,使用脑机接口 (BCI) 的评估方法,例如在执行 EF 任务期间捕获和分析脑电图 (EEG) 生物信号,已获得更准确的结果(Cipresso 等人,2012、2013;Carelli 等人,2017)。关于 EF 康复,传统方法涉及在医疗保健专业人员的指导下使用真实世界的材料执行重复性任务,这可能很繁琐且不方便。此外,基于 VR 的 EF 康复方法提供了令人愉快和身临其境的虚拟环境和引人入胜的任务,从而提高了 EF 训练的有效性 ( Liao et al., 2019 )。为了解决评估基于 VR 的 EF 训练有效性的问题,已经提出了整合 BCI-VR 的新方法 ( Wen et al., 2018 ; Duan et al., 2023 )。然而,尽管纵向神经心理学评估在神经系统疾病中具有临床和伦理意义,但关于使用 BCI-VR 对身体有局限性的患者进行认知评估和训练的研究数量有限。对昂贵而复杂的设备、有限而简单的软件培训系统以及使用系统和分析数据的特定能力的需求可能是 BCI-VR 临床应用的主要障碍 ( Carelli et al., 2017 )。在此方面,我们深入研究了运用先进的计算机技术进行EF培训和评估的各项研究,并对各个方面的当前趋势和策略提供了见解。
Neuralink 1 是一种由多个芯片、无线电池和植入物内的其他支持电子设备组成的设备。从该植入物中伸出的超细电线(其中 64 根具有 1,024 个电极)类似于触手,将分散到大脑的不同部位。8 植入物发出的信号通过蓝牙传输到计算机,计算机对其进行解码,从而移动机械臂或屏幕上的光标。9 2021 年,埃隆·马斯克 (Elon Musk) 表示,“它就像你头骨中的 Fitbit,带有通向大脑的细小电线。”10 该设备使用机器人手术器械插入,该器械使用的针头比人的头发还细。它还具有五个内置摄像系统,可使用光学相干断层扫描进行大脑成像。11 临床前数据已经证明 Neuralink 植入的猪和猴子具有疗效。事实上,2021 年初,猴子在电脑上玩乒乓球的视频的确在社交媒体上疯传。12 杜克大学的 Miguel Necolelis 博士早在 2014 年就曾将 BCI 植入猴子体内,使它们的大脑能够控制光标。13 Neuralink 的独特卖点是带宽和电极数量明显更高,因此可以对运动速度和准确性进行精细调整。我们不知道试验何时开始招募志愿者。Neuralink 大脑植入物可能还需要几十年才能商业化,也许是它的“n”个版本。2022 年,美国 FDA 拒绝了 Neuralink 的申请,理由是对其植入方式、电线向大脑其他部位的迁移以及如何移除设备的担忧。2 当局和科学家提出的其他担忧包括动物伦理、安全和物流问题。 14 – 16 Neuralinks 的研究迄今为止涉及大鼠、小鼠、绵羊、猪和猴子。17 芯片从他们的大脑中取出时情况可疑,并且被运走,没有记录针对污染/传染性生物的预防措施。18
① 参见王行愚 、 金晶 、 张宇等 :《 脑控 : 基于脑 — 机接口的人机融合控制 》, 载 《 自动化学报 》2013 年第 3 期 , 第 208-221 页 。