XiaoMi-AI文件搜索系统
World File Search Systemdecoder
如何创建，提炼或修剪自己的小语言模型
GPT-2模型体系结构。GPT-2模型包含N变压器解码器块，如左图所示。每个解码器块（中心面板）包括一个多头蒙版的注意层，一个多层感知层，归一化和辍学层。剩余连接（与加法操作员的分支线）允许该块从上一个块的输入中学习。使用Q，K和V向量计算出注意力层（右图），以捕获输入序列中的顺序关系。
量子码的局部概率解码
flip 是一种极其简单且最大程度局部化的经典译码器，在某些类的经典代码中得到了广泛应用。当应用于量子码时，存在无法由该译码器纠正的恒重误差（如稳定器的一半），因此先前的研究考虑了 flip 的修改版本，有时还与其他译码器结合使用。我们认为这可能并非总是必要的，并提供数值证据证明当将 flip 应用于立方格子上三维环面码的环状征象时，存在一个阈值。该结果可以归因于以下事实：对于该译码器，最低权重的无法纠正误差比其他无法纠正误差更接近（就汉明距离而言）可纠正误差，因此它们很可能在未来的代码周期中经过额外噪声变换后变得可纠正。在解码器中引入随机性可以使其以有限的概率纠正这些“不可纠正”的错误，对于使用信念传播和概率翻转相结合的解码策略，我们观察到现象噪声下的阈值为 ∼ 5.5%。这与该代码的最佳已知阈值（∼ 7.1%）相当，该阈值是使用信念传播和有序统计解码 [Higgott and Breuckmann, 2022] 实现的，该策略的运行时间为 O(n3)，而我们的本地解码器的运行时间为 O(n)（并行时为 O(1)）。我们预计该策略可以推广到其他低密度奇偶校验码中，并希望这些结果能够促使人们研究其他以前被忽视的解码器。
基于生物信号的共同适应用户机器接口，用于电机控制
抽象的用户机器接口映射从用户测量的生物信号，以控制外部设备的控制命令。从生物信号到设备输入的映射由解码算法执行。对用户和解码器的改编（共同适应）提供了提高不同用户和应用程序接口的包容性和可用性的机会。用户学习会导致可靠的接口控制，可以跨环境和上下文概括。解码器适应性可以个性化接口，说明日常信号变异性并提高整体性能。共同适应创造了塑造用户和解码器系统以实现可靠且可推广的个性化接口的机会。但是，共同适应创建了一个两学习系统，并在用户和解码器之间进行动态交互。工程共同自适应接口需要新的工具和框架来分析和设计用户 - 码头交互。在本文中，我们回顾了自适应解码，用户学习和在用户机器接口中的共同适应，可用于运动控制的用户机器接口，脑中脑部脑部计算机，肌电和运动接口。然后，我们讨论了自适应接口的性能标准，并提出了一种设计用户decoder共同适应的游戏理论方法。
基于生物信号的电机控制自适应用户机界面
摘要 用户机界面将从用户测量的生物信号映射到外部设备的控制命令。从生物信号到设备输入的映射由解码算法执行。用户和解码器的适应——共同适应——为提高不同用户和应用程序的界面包容性和可用性提供了机会。用户学习可实现强大的界面控制，可跨环境和上下文进行推广。解码器适应可以个性化界面，考虑日常信号变化并提高整体性能。因此，共同适应创造了塑造用户和解码器系统的机会，以实现强大且可推广的个性化界面。然而，共同适应会创建一个双学习者系统，用户和解码器之间具有动态交互。设计共同适应界面需要新的工具和框架来分析和设计用户解码器交互。在本文中，我们回顾了用户机界面中的自适应解码、用户学习和共同适应，主要是用于运动控制的脑机、肌电和运动学界面。然后，我们讨论了共同适应接口的性能标准，并提出了一种设计用户-解码器共同适应的博弈论方法。
探索脑机接口的协同作用
患有严重神经损伤的人通常依赖辅助技术，但目前的方法在准确解码多自由度 (DoF) 运动方面存在局限性。皮层内脑机接口 (iBMI) 使用神经信号来提供更自然的控制方法，但目前难以处理更高自由度的运动——大脑可以轻松处理这些运动。据推测，大脑通过肌肉协同作用简化了高自由度运动，肌肉协同作用将多块肌肉连接起来作为一个单元发挥作用。这些协同作用已经使用降维技术进行了研究，例如主成分分析 (PCA)、非负矩阵分解 (NMF) 和分离 PCA (dPCA)，并成功用于降低噪音和提高非侵入式应用中的离线解码器稳定性。然而，它们在改善不同任务中植入记录的解码和通用性方面的有效性尚不清楚。在这里，我们评估了大脑和肌肉协同作用是否可以提高非人类灵长类动物执行双自由度手指任务时的 iBMI 性能。具体来说，我们测试了 PCA、dPCA 和 NMF 是否可以压缩和去噪大脑和肌肉数据并提高解码器在任务中的泛化能力。我们的结果表明，虽然所有方法都能有效地压缩数据，同时解码精度损失最小，但没有一种方法能通过去噪来提高性能。此外，没有任何方法能增强跨任务的泛化能力。这些发现表明，虽然降维可以帮助数据压缩，但单独使用降维可能无法揭示提高解码器性能或泛化能力所需的“真实”控制空间。需要进一步研究以确定协同作用是否是最佳控制框架，或者是否需要替代方法来增强 iBMI 应用中解码器的鲁棒性。
从非参数方法到深神经网络
图2：NNME的神经网络结构。输入为w和y，输出是估计的回归函数f✓（x）。左绿色块是一个编码器，它由几个具有Relu激活函数的完全连接的层组成，最后一层具有线性函数；编码器的输出是提案分布的参数。右绿色块是一个解码器，它的网络结构与编码器相同；输入是x的随机样本，输出是f✓（x）的估计值。顶部的绿色块是另一个解码器，它由标准化流量的几个耦合层组成；输入是x的随机样品，输出是估计的x的先前密度。
探索脑机界面中的协同作用
患有严重神经损伤的个体通常依赖于辅助技术，但是当前的方法在准确解码多度自由度（DOF）运动方面存在局限性。皮质内脑机界面（IBMIS）使用神经信号提供更自然的控制方法，但目前在更高的动作方面挣扎 - 大脑毫不费力地处理。从理论上讲，大脑通过肌肉协同作用简化了高功能运动，这些肌肉将多个肌肉连接起来作为单个单位。已经使用降低性降低技术进行了研究，例如主成分分析（PCA），非负矩阵分解（NMF）和Demixed PCA（DPCA），并成功地用于降低噪声并改善非侵入性应用中的噪声并提高离线解码器的稳定性。然而，它们在改善各种任务的植入记录的解码和普遍性方面的有效性尚不清楚。在这里，我们评估了大脑和肌肉协同作用是否可以在非人类灵长类动物的IBMI表现中提高执行两多手指任务的IBMI表现。具体来说，我们测试了PCA，DPCA和NMF是否可以压缩和降低大脑和肌肉数据，并改善跨任务的解码器概括。我们的结果表明，尽管所有方法在解码准确性时都有最小的损失有效地压缩数据，但没有通过降解来改善性能。此外，这些方法均未增强跨任务的概括。这些发现表明，虽然降低维度可以帮助数据压缩，但仅凭它可能无法揭示提高解码器性能或概括性所需的“真实”控制空间。需要进一步的研究来确定协同作用是最佳控制框架还是是否需要替代方法来增强IBMI应用中的解码器鲁棒性。
共同自适应训练可以改善fMRI解码的神经反馈
对神经反馈培训研究和相关临床应用的一个重大挑战是参与者在训练过程中学习诱导特定大脑模式的困难。在这里，我们在基于fMRI的解码神经反馈（DECNEF）的背景下解决了这个问题。可以说，用于构建解码器的数据与用于神经反馈训练的数据之间的差异，例如数据分布和实验环境的差异，可能是上述参与者困难的原因。我们使用标准机器学习算法开发了一个共同适应程序。首先，我们使用以前的Decnef数据集通过模拟测试了该过程。该过程涉及一种自适应解码器算法，该算法根据其在神经反馈试验中的预测中实时更新。结果表明，在神经反馈训练期间，解码器性能有了显着改善，从而增强了学习曲线。然后，我们在Decnef培训程序中收集了实时fMRI数据，以提供概念证据证据，表明共同适应增强了参与者在训练过程中诱导目标状态的能力。因此，通过共同适应的个性化解码器可以提高Decnef培训方案的精度和可靠性，以针对特定的大脑表示，并在转化研究中产生后果。这些工具可公开提供给科学界。
diffms：以质谱为条件的分子的扩散产生
质谱法在阐明未知分子的结构和随后的科学发现中起着基本作用。结构阐明任务的一种结构是给定质量谱的分子结构的有条件生成。朝着针对小分子的更有效和有效的科学发现管道，我们提出Diffms，这是一个由公式限制的编码码头生成网络，可在此任务上实现最先进的性能。编码器利用变压器档位，并模型质谱域知识，例如峰值公式和中性损耗，而解码器是一个离散的图形扩散模型，该模型受已知化学公式的重原子组成限制。为了开发一个桥梁解码器，它可以弥合潜在的嵌入和分子结构，我们用指纹结构对预处理扩散解码器，这些解码器几乎以无限的量为单位，与结构 - 光谱对相对，以数千的数量为单位。在已建立的基准上进行的广泛实验表明，DIFFMS在从头分子上构成现有模型。我们提供了几种消融，以揭示我们扩散和预训练方法的有效性，并随着预训练的数据集尺寸的增加而显示出一致的穿孔缩放。DIFFMS代码可在https：//github.com/coleygroup/diffms上公开获得。