创建灵活而强大的脑机接口 (BMI) 目前是一个热门的研究课题,医学、工程、商业和机器学习社区已经对此进行了数十年的探索。特别是,使用强化学习 (RL) 的技术已显示出令人印象深刻的结果,但在 BMI 社区中却代表性不足。为了进一步阐明这种有希望的关系,本文旨在对 RL 在 BMI 中的应用进行详尽的回顾。我们在这篇评论中的主要重点是提供基于 RL 的 BMI 中用于解码神经意图的各种算法的技术摘要,而不强调神经信号的预处理技术和 RL 的奖励建模。我们首先根据用于神经解码的 RL 方法类型组织文献,然后解释每种算法的学习策略及其在 BMI 中的应用。提供了比较分析,重点介绍了神经解码器之间的相似性和独特性。最后,我们以讨论 RLBMI 的现阶段结束这篇评论,包括它们的局限性和未来研究的有希望的方向。
摘要:大脑是人类控制和交流的中心。因此,保护它并为其提供理想条件非常重要。脑癌仍然是世界上死亡的主要原因之一,并且检测恶性脑肿瘤是医疗图像分割的优先事项。与正常组织相比,脑肿瘤分割任务旨在鉴定属于异常区域的像素。深度学习近年来已经解决了解决这个问题的力量,尤其是类似U-Net的架构。在本文中,我们提出了一个有效的U-NET架构,其中包含三个不同的编码器:VGG-19,Resnet50和MobilenetV2。这是基于转移学习,然后是应用于每个编码器的双向特征金字塔网络,以获得更多的空间相关特征。然后,我们融合了从每个网络的输出中提取的特征图,并通过注意机制将它们合并到我们的解码器中。在Brats 2020数据集上评估了该方法,以分割不同类型的肿瘤,结果在骰子相似性方面表现出良好的性能,整个肿瘤,核心肿瘤和增强肿瘤的系数为0.8741、0.8069和0.7033。
脑电图(EEG)是一种可在非侵入性脑机界面(BMI)系统中用于注册脑电活动的技术。EEG信号是非线性和非平稳的,使解码过程成为复杂的任务。深度学习技术已成功地应用于几个研究领域,与传统方法相比,经常改善结果。因此,人们认为这些技术还可以改善在BMI系统中解码大脑信号的过程。在这项工作中,我们介绍了两个基于深度学习的解码器的实施,并将结果与其他最先进的深度学习方法进行了比较。第一个解码器使用长期记忆(LSTM)复发性神经网络,第二个题为EEGNET-LSTM的第二个解码器将基于卷积神经网络(称为EEGNET)的众所周知的神经解码器与某些LSTM层相结合。使用BCI竞争IV的数据集2A对解码器进行了测试,结果表明,EEGNET-LSTM解码器比赢得比赛的解码器好约23%。wilcoxon t检验在两个解码器之间显示出显着的区别(z = 2.524,p = 0.012)。基于LSTM的解码器比同一竞争中最佳解码器高约9%。但是,没有显着的差异(z = 1.540,p = 0.123)。为了验证EEGNET-LSTM解码器在另一个数据上的复制,我们使用Physionet的Physiobank EEG EEG运动/成像数据集进行了测试。EEGNET-LSTM比EEGNET提出的性能(0.85精度)(0.82精度)。这项工作的结果对于开发新研究以及基于脑电图的BMI系统至关重要,这可以从神经解码器的高精度中受益。
摘要-本文介绍了一种线路解码器的混合逻辑设计方法,结合了传输门逻辑和传输晶体管。针对 2-4 解码器,提出了两种新型拓扑结构:一种是旨在最小化晶体管数量和功耗的 14 晶体管拓扑结构,另一种是旨在实现高功率延迟性能的 15 晶体管拓扑结构。完整的设计是在解码器的正常模式下完成的,因此存在两种 2-4 解码器设计。此外,还设计了两个新的 4-16 解码器,使用混合逻辑 2-4 预解码器与标准 CMOS 后解码器相结合。与传统的 CMOS 解码器相比,所有提出的解码器都具有全摆幅能力和更少的晶体管数量。最后,使用 LTspice 编码在电子 VLSI 软件中对 300nm 进行了各种比较 Spice 模拟,结果表明,与 CMOS 相比,提出的电路在几乎所有情况下都具有显着的功率和延迟改进。
在这项工作中,我们为2D代码开发了一个通用张量网络解码器。具体而言,我们构成了一个解码器,该解码器近似于2D稳定器和子系统代码,但受Pauli噪声的影响。对于由N量表组成的代码,我们的解码器的运行时间为O(n log n +Nχ3),其中χ是近似参数。我们通过在三种噪声模型下研究四类代码,即规则的表面代码,不规则的表面代码,子系统表面代码和颜色代码,在钻头滑唇,相移,相动式噪声下,通过研究四类代码来证明该解码器的功能。我们表明,我们的解码器所产生的阈值是最新的,并且在数值上与最佳阈值一致,这表明在所有这些情况下,张量网络解码器很好地近似于最佳解码。对我们解码器的小说是任意2D张量网络的有效有效的近似收缩方案,这可能具有独立的关注。我们还发布了该算法的实现,作为独立的朱莉娅软件包:sweepContractor.jl [1]。
图 2:Sadtler 等人 (2014) 的 BCI 学习任务。a. 任务结构示意图。受试者首先参与“校准任务”,即他们被动观察屏幕上中心向外的光标移动。记录的运动皮层神经活动用于构建基线解码器并估计内在流形。然后指示受试者在 BCI 控制下执行中心向外的光标移动,首先使用基线解码器,然后使用通过扰动基线解码器构建的扰动解码器。这种扰动可以保持基线解码器与内在流形的对齐(流形内扰动,或 WMP),也可以破坏它(流形外扰动,或 OMP)。b. 内在流形的低维图示及其与本任务中使用的解码器(在方程 3 中定义)的关系。彩色点表示在校准任务的不同试验期间记录的活动模式,由该试验中呈现的光标速度着色。这些刺激的光标速度用右上方插图中的颜色匹配箭头表示,后续光标控制任务中使用的光标目标用绿色菱形表示。引起的神经活动模式主要位于灰色矩形所示的二维平面内,即所谓的内在流形。三个假设的一维解码器用彩色箭头表示,分别标记为基线解码器、WMP 和 OMP。通过将各个活动模式投影到相应的解码器向量上,可以可视化这些解码器的线性读数的相应分量 y 1 。这以绿色标记的一个活动模式为例,图中显示了其在三个解码器上的投影。由于该活动模式靠近内在流形,因此它会从基线解码器和 WMP 产生较大的读数(即远离原点,在三个解码器的交点处),而基线解码器和 WMP 都与内在流形很好地对齐。相比之下,此活动模式通过 OMP 的读数要弱得多(即其在此解码器上的投影更接近原点),因为此解码器远离固有流形。重要的是要记住,此插图是真实任务的简化卡通,其中固有流形是高维的(8-12D 而不是 2D),并且 BCI 任务依赖于两个读数(y 1 ,y 2 ),而不是一个。
本文探讨了编码器和解码器语言模型在词语自然语言理解(NLU)任务上的性能,并广泛着重于语言语言。在扫描基准的基础上构建,最初仅限于评估编码器模型,我们将评估框架扩展到包括解码器模型。我们介绍了一种在NLU任务上进行评估解码器模型的方法,并将其应用于丹麦语,瑞典语,挪威,冰岛,法罗语,德语,德语,荷兰语和英语的语言。通过一系列的演出和分析,我们还解决了有关编码器和解码器模型的比较性能,NLU任务类型的影响以及跨语言资源的变化的问题。我们的发现表明,尽管参数的数量级较少,但编码器模型比解码器模型可以实现明显更好的NLU表现。此外,我们通过UMAP分析研究了解码器与任务性能之间的相关性,从而阐明了解码器和编码器模型的独特功能。本研究有助于更深入地了解NLU任务中的语言模型范例,并为多语言环境中的模型选择和评估提供了有价值的见解。
摘要 - 本文考虑了通用古典量子(CQ)通道的极地代码的设计和解码。通过使用量子消息(BPQM)来解码,尤其是配对测量BPQM(PM-BPQM)解码的想法。由于PM-BPQM解码器接受经典的密度演化(DE)分析,因此可以使用DE来设计任何CQ通道的极性代码,然后有效地计算代码速率和错误概率之间的权衡。我们还针对极地代码实施了PM-BPQM解码器的经典模拟。虽然可以在量子计算机上有效地实现解码器,但在古典计算机上模拟解码器实际上具有指数复杂性。因此,解码器的仿真结果受到限制,主要是为了验证我们的理论结果。
摘要 由于具有良好的解码性能和对任何噪声模型的适应性,使用基于神经网络的解码器解码量子纠错码的现象日益增多。然而,由于误差综合征空间呈指数级增长,因此主要挑战在于可扩展到更大的代码距离。请注意,在现实噪声假设下成功解码表面代码将使用当前基于神经网络的解码器将代码大小限制在 100 个量子比特以下。可以通过类似于重正化群 (RG) 解码器的分布式解码方式来解决此类问题。在本文中,我们介绍了一种结合 RG 解码和基于神经网络的解码器概念的解码算法。我们测试了旋转表面代码在去极化噪声下的解码性能,并使用无噪声误差综合征测量,并与 blossom 算法和基于神经网络的解码器进行了比较。我们表明,所有测试解码器之间都可以实现类似的解码性能水平,同时为基于神经网络的解码器的可扩展性问题提供了解决方案。
所有 GPT 模型基本上都遵循“注意力就是你所需要的一切”(Vaswani 等人,2017)中建立的 Transformer 架构,它有一个编码器来处理输入序列,还有一个解码器来生成输出序列。原始 Transformer 中的编码器和解码器都具有多头自注意力机制,该机制允许模型对序列的各个部分进行差异加权以推断含义和上下文。*作为原始 Transformer 的演变,GPT 模型利用带有掩码自注意力头的仅解码器变压器。使用仅解码器框架是因为 GPT 的主要目标是生成连贯且与上下文相关的文本。由解码器处理的自回归解码允许模型维护上下文并一次一个标记地生成序列。