摘要:脑机接口(BCI)利用神经活动作为控制信号,实现人脑与外部设备之间的直接通信,通过脑电图(EEG)捕捉大脑产生的电信号,将其转化为反映用户行为的神经意图,正确解码神经意图才能实现对外部设备的控制。基于强化学习的BCI增强解码器仅基于环境的反馈信号(奖励)完成任务,构建了从神经意图到适应变化环境的动作的动态映射通用框架。但使用传统的强化学习方法存在维数灾难、泛化能力差等挑战。因此,本文利用深度强化学习构建解码器以正确解码EEG信号,通过实验证明其可行性,并在具有高动态特性的运动成像(MI)EEG数据信号上展示其更强的泛化能力。
表面码纠错为实现可扩展容错量子计算提供了一种非常有前途的途径。当作为稳定器码运行时,表面码计算包括一个综合征解码步骤,其中使用测量的稳定器算子来确定物理量子比特中错误的适当校正。解码算法已经取得了长足的发展,最近的研究结合了机器学习 (ML) 技术。尽管初步结果很有希望,但基于 ML 的综合征解码器仍然局限于小规模低延迟演示,无法处理具有边界条件和晶格手术和编织所需的各种形状的表面码。在这里,我们报告了一种可扩展且快速的综合征解码器的开发,该解码器由人工神经网络 (ANN) 驱动,能够解码任意形状和大小的表面码,数据量子比特受到各种噪声模型的影响,包括去极化误差、偏置噪声和空间非均匀噪声。解码过程包括由 ANN 解码器进行综合征处理,然后进行清理步骤以纠正任何残留错误。基于对 5000 万个随机量子错误实例的严格训练,我们的 ANN 解码器被证明可以处理超过 1000(超过 400 万个物理量子比特)的代码距离,这是最大的 ML-
图 6 示例性注意力矩阵,可视化三位参与者在收敛时的注意力得分(来自随机选择的训练样本)(值越亮表示注意力得分越高)。解码器中的时间步长在 y 轴上表示,编码器的时间步长在 x 轴上表示。对角线结构表明注意力得分在时间域上是很好地对齐的,例如输出中的后续步骤关注输入中的后续步骤。该图还表明,填充输入 sEEG 序列(语音规划和理解)可能是不必要的,因为没有太多注意力放在第一个和最后一个输入步骤上。
*通信:Cynthia A. Chestek博士生物医学工程B10-A171 NCRC Ann Arbor MI 48109-2800电话:734-763-1759
用户意图。基于 SSVEP 与视觉刺激调制频率锁定这一知识,界面通常设置为在场景中具有多个目标,每个目标都标记有一个通过闪烁传递的唯一频率。目标可以是放置在物体上或附近的发光二极管 (LED),以表示潜在动作、物品或到达坐标 [4–7],也可以表示在计算机屏幕上,每个目标块代表 BMI 拼写器中的字符或用于控制计算机或其他设备的命令 [8–10]。为了从界面中呈现的所有目标中识别出用户的预期目标,解码算法会分析包含 SSVEP 的收集到的脑信号的频率成分,并根据主要频率特征做出决策。在典型的 SSVEP 设置中,诱发的 SSVEP 包含刺激频率 𝑓 ,以及该频率的谐波 2 𝑓、3 𝑓,... [1, 11]。传统基于 SSVEP 的 BMI 的局限性之一是目标数量受到 SSVEP 有限的响应范围 [1] 和谐波存在的限制,如果在界面中同时使用某个频率及其谐波,可能会导致错误分类。这减慢了 BMI 在提高命令处理能力(命令数量)方面的发展 [12]。为了解决这个问题,引入了多频 SSVEP 刺激方法,旨在增加在有限频率下可呈现的目标数量 [13–17]。然而,多频 SSVEP 的解码器尚未得到广泛探索。现有的多频 SSVEP 解码器包括基于功率谱密度的分析(PSDA)[15, 17]、多频典型相关分析(MFCCA)[18] 和针对每个单独用户或用例的基于训练的算法 [13, 19]。与两种无需训练的方法相比,基于训练的算法具有更高的分类准确率,但需要为每个用户进行额外的训练和界面设置。PSDA 和 MFCCA 支持即插即用,提高了 BMI 的实用性。然而,PSDA 通常解码准确率有限,因为它没有充分考虑多频 SSVEP 中的复频率特征,这些特征不仅包含刺激频率及其谐波(如单频 SSVEP),还包含刺激频率之间的线性相互作用 [16]。MFCCA 通过在解码中引入线性相互作用而显示出在多频 SSVEP 解码中的优势 [18],但 MFCCA 的一个主要问题是它是基于典型相关分析 (CCA) [20] 开发出来的,具有很高的时间复杂度。 CCA 的渐近时间复杂度为 O ( lD 2 ) + O ( D 3 ) (以 O ( n 3 ) 为界,其中 n 表示解码时的输入大小),其中 l
摘要。目的:神经解码的进步使脑部计算机界面能够执行越来越复杂且与临床相关的任务。但是,这些解码器通常是针对特定参与者,天数和记录网站量身定制的,从而限制了其实际的长期使用。因此,一个基本的挑战是开发可以对汇总,多参与者数据进行稳固训练并推广到新参与者的神经解码器。方法:我们介绍了一个新的解码器HTNET,该解码器使用具有两个创新的卷积神经网络:(1)Hilbert Transform在数据驱动的频率下计算光谱功率,以及(2)将电极水平数据投射到预先确定的脑区域上的层。投影层与颅内皮质摄影(ECOG)进行了严格的应用,其中电极位置未标准化,并且在参与者之间差异很大。我们培训了HTNET,使用来自12名参与者中的11名的合并ECOG数据来解码ARM运动,并在看不见的ECOG或脑电图(EEG)参与者上测试了性能;随后对每个测试参与者进行了这些预告片的模型。主要结果:在对看不见的参与者进行测试时,HTNET的表现优于最先进的解码器,即使使用了不同的记录方式。通过对这些广泛的HTNET解码器进行研究,我们实现了最佳量身定制的解码器的性能,其中只有50个ECOG或20个EEG事件。我们还能够解释HTNET训练有素的重量,并证明其提取与生理相关的特征的能力。引人注目:通过将新参与者概括和记录方式,鲁棒处理电极放置的变化以及允许参与者使用最小数据的参与者进行调整,HTNET适用于与当前的现有状态解码的更广泛的新型新型解码应用程序相比。
摘要 — 近年来,人们对利用基于脑电图 (EEG) 信号的深度学习模型监测癫痫患者的兴趣日益浓厚。然而,这些方法在应用于收集训练数据的环境之外时,往往表现出较差的泛化能力。此外,手动标记 EEG 信号是一个耗时的过程,需要专家分析,这使得将特定于患者的模型微调到新环境成为一项昂贵的任务。在这项工作中,我们提出了最大均值差异解码器 (M2D2),用于自动时间定位和标记长时间 EEG 记录中的癫痫发作,以协助医疗专家。我们表明,当对不同于训练数据的临床环境中收集的 EEG 数据进行评估时,M2D2 实现了 76.0% 和 70.4% 的时间定位 F1 分数。结果表明,M2D2 的泛化性能明显高于其他最先进的基于深度学习的方法。
量子设备的错误率比运行大多数量子应用程序所需的错误率高出几个数量级。为了弥补这一差距,量子纠错 (QEC) 对逻辑量子位进行编码并使用多个物理量子位分发信息。通过定期对逻辑量子位执行综合征提取电路,可以在运行程序时提取有关错误(称为综合征)的信息。解码器使用这些综合征来实时识别和纠正错误,这对于防止错误累积是必要的。不幸的是,软件解码器速度很慢,而硬件解码器速度快但准确性较低。因此,到目前为止,几乎所有的 QEC 研究都依赖于离线解码。为了在近期的 QEC 中实现实时解码,我们提出了 LILLIPUT——一种轻量级低延迟查找表解码器。LILLIPUT 由两部分组成——首先,它将综合征转换为错误检测事件,这些事件被索引到查找表 (LUT) 中,其条目实时提供错误信息。其次,它通过离线运行软件解码器,对 LUT 进行错误分配编程,以应对所有可能的错误事件。LILLIPUT 可以容忍量子硬件中任何操作的错误,包括门和测量,并且可容忍的错误数量随着代码大小而增加。LILLIPUT 在现成的 FPGA 上使用的逻辑不到 7%,因此可以实际采用,因为 FPGA 已经用于设计现有系统中的控制和读出电路。LIL-LIPUT 的延迟只有几纳秒,可以实现实时解码。我们还提出了压缩 LUT (CLUT) 来减少 LILLIPUT 所需的内存。通过利用并非所有错误事件都同样可能的事实,并且只存储最可能的错误事件的数据,CLUT 将所需内存减少了多达 107 倍(从 148 MB 减少到 1.38 MB),而不会降低准确性。
通过思维与效应器进行交互,可以使这些患者在日常生活中恢复一定的自主权。例如,基于运动想象的 BCI 已被用于控制脊髓损伤后截瘫或四肢瘫痪患者的上肢( Hochberg 等人, 2012 年; Collinger 等人, 2013 年; Wodlinger 等人, 2014 年; Edelman 等人, 2019 年)、下肢( López-Larraz 等人, 2016 年; He 等人, 2018 年)和四肢( Benabid 等人, 2019 年)的假肢或外骨骼。在本研究中,我们重点研究基于皮层脑电图 (ECoG) 的运动 BCI,这是一种很有前途的工具,与更具侵入性的方法相比,它可以实现神经假体控制的连续 3D 手部轨迹解码,同时降低植入风险 ( Volkova 等人,2019)。BCI 记录神经元活动并将其解码为效应器的控制命令。解码器通常以监督的方式使用机器学习算法进行训练。在绝大多数研究中,由于对记录的访问有限,训练数据集受到严格限制。同时,数据集大小是机器学习分析中的一个重要因素,会极大地影响整个系统的性能。与最近的计算机视觉和自然语言处理研究(Kaplan 等人,2020 年;Rosenfeld 等人,2020 年;Hoiem 等人,2021 年)相比,对于 BCI,很少研究训练数据的最佳数量,即解码器性能在给定应用中达到稳定状态的数量(Perdikis and Millan,2020 年)。尤其是学习曲线,它提供了对模型性能和训练集大小之间关系的洞察,但却很少被提出。学习曲线可用于模型选择、减少模型训练的计算量或估计向训练数据集添加更多数据的理论影响(Viering and Loog,2021 年)。考虑到人类记录的数据集的访问权限有限,最后一点在 BCI 中尤为重要。如果不知道系统性能和数据集大小之间的关系,就很难确定提高解码器准确性的策略:增加训练数据量还是增加模型容量。对于基于 ECoG 的运动 BCI,大多数模型的容量有限。所使用的解码器是卡尔曼滤波器(Pistohl 等人,2012 年;Silversmith 等人,2020 年)并且大多是线性模型的变体(Flamary 和 Rakotomamonjy,2012 年;Liang 和 Bougrain,2012 年;Nakanishi 等人,2013 年、2017 年;Chen 等人,2014 年;Bundy 等人,2016 年;Eliseyev 等人,2017 年)。在大多数这些研究中,解码器优化都是在包含几分钟或几十分钟信号的数据库上进行的。这会产生可用的模型,但并未提供有关可以通过更多数据实现的性能提升的任何信息,也没有比较多个解码器之间的数据量/性能关系。在 BCI 中,模型特征和学习曲线并不是影响解码器性能的唯一因素。人类生成独特脑信号模式的能力对于 BCI 系统至关重要。近年来的研究主要集中在开发越来越高效的解码器上,例如深度学习 (DL)(Bashivan 等人,2015 年;Elango 等人,2017 年;Schirrmeister 等人,2017 年;Du 等人,2018 年;Lawhern 等人,2018 年;Pan 等人,2018 年;Xie 等人,2018 年;Zhang 等人,2019 年;Rashid 等人,2020 年;´ Sliwowski 等人,2022 年),而不是耐心学习或共同适应(Wolpaw 等人,2002 年;Millan,2004 年),尽管一些研究表明
量子纠错技术是消除量子计算机运行时噪声的重要方法。针对噪声带来的问题,本文利用强化学习对Semion码的缺陷进行编码,并利用经验重放技术实现译码器的设计。Semion码是与Kitaev toric码具有相同对称群Z 2 的量子拓扑纠错码,利用纠错码的拓扑特性将量子比特映射到多维空间,计算出译码器的纠错准确率为77.5%。计算拓扑量子Semion码的阈值,根据码距的不同,得到不同的阈值,当码距为d = 3, 5, 7时,p阈值= 0.081574,当码距为d = 5, 7, 9时,p阈值= 0.09542。并设计Q网络来优化量子电路门的代价,比较不同阈值下代价降低的大小。强化学习是设计Semion码译码器、优化数值的重要方法,为未来的机器工程译码器提供更通用的错误模型和纠错码。