XiaoMi-AI文件搜索系统
World File Search Systempars
使用稀疏极限学习机进行癫痫和癫痫发作检测的多类分类的 LETTER VLSI 设计
摘要 一种用于区分健康、发作期和发作间期脑电图信号的自动检测系统在临床实践中具有重要意义。本文介绍了一种用于癫痫和癫痫发作检测的低复杂度三类分类 VLSI 系统。设计的系统包括基于离散小波变换 (DWT) 的特征提取模块、稀疏极限学习机 (SELM) 训练模块和多类分类器模块。在三级 DWT 中引入了 Daubechies 4 阶小波的提升结构，以节省电路面积并加快计算时间。SELM 是一种新型的机器学习算法，具有低硬件复杂度和高性能，用于片上训练。由于其分类精度高，因此首次设计了一对一的多类非线性 SELM。设计的系统在 FPGA 平台上实现，并使用公开的癫痫数据集进行评估。实验结果表明，设计的系统在低维特征向量下实现了高精度。关键词：低复杂度，分类，DWT，多类，SELM 分类：集成电路（存储器，逻辑，模拟，RF，传感器）
利用稀疏混合专家扩展视野
稀疏门控混合专家网络 (MoE) 在自然语言处理中表现出色。然而，在计算机视觉中，几乎所有高性能网络都是“密集的”，也就是说，每个输入都由每个参数处理。我们提出了一种视觉 MoE (V-MoE)，它是 Vision Transformer 的稀疏版本，具有可扩展性，可与最大的密集网络相媲美。当应用于图像识别时，V-MoE 的性能可与最先进的网络相媲美，同时在推理时只需要一半的计算量。此外，我们提出了一种路由算法的扩展，该算法可以对整个批次中每个输入的子集进行优先级排序，从而实现自适应的每幅图像计算。这使得 V-MoE 能够在测试时权衡性能并顺利计算。最后，我们展示了 V-MoE 扩展视觉模型的潜力，并训练了一个 15B 参数模型，在 ImageNet 上达到了 90.35% 的准确率。
高度结构化和稀疏的线性变换
我们引入了一种名为 De formable Butterfly (DeBut) 的新型线性变换，它概括了传统的蝴蝶矩阵，可以适应各种输入输出维度。它继承了传统蝴蝶从细粒度到粗粒度的可学习层次结构，当部署到神经网络时，DeBut 层中突出的结构和稀疏性构成了一种新的网络压缩方法。我们将 DeBut 用作标准全连接层和卷积层的直接替代品，并证明了其在均质化神经网络方面的优势，并使其具有轻量级和低推理复杂度等优良特性，同时不影响准确性。DeBut 层的无数变形所带来的自然复杂性-准确性权衡也为分析和实践研究开辟了新的空间。代码和附录可公开获取：https://github.com/ruilin0212/DeBut 。
嗅觉加工和稀疏编码的神经形态模型
动物神经系统在处理感觉输入方面非常有效。神经形态计算范式的目的是针对神经网络计算的硬件实施，以支持用于构建脑启发的计算系统的新颖解决方案。在这里，我们从果实幼虫的神经系统中的感觉处理中汲取灵感。具有<200个神经元和<1.000的强烈有限的计算资源，幼虫嗅觉途径采用基本计算来转变外围的广泛调节的益人的输入，成为中央大脑中良好的稀疏代码。我们展示了这种方法如何使我们能够在尖峰神经网络中实现刺激模式的稀疏编码和提高的可分离性，并在混合体信号实时神经形态硬件上通过软件仿真和硬件仿真验证。我们验证反馈抑制是在神经元种群中支持空间结构域稀疏性的主要基础，而尖峰频率适应和反馈抑制的组合决定了时间域中的稀疏性。我们的例外表明，在神经形态硬件上有效地实现了如此大小的生物学上现实的神经网络，可以实现并行处理并有效地编码在全时间分辨率下进行感官。
稀疏分布式表示的可变绑定
摘要 - 可变性的绑定是象征性的和认知的基石。但是，在连接主义模型中如何实现约束力使神经科学家，认知心理学家和神经网络研究人员困惑。自然包含绑定操作的一种连接主义模型是向量符号体系结构（VSA）。与其他有关可变结合的建议相反，VSA中的结合操作是维度具有维护性的，它可以代表复杂的层次数据结构，例如树，同时避免尺寸的组合扩展。经典的VSA通过密集的随机矢量编码符号，其中信息分布在整个神经元种群中。相比之下，在大脑中，特征在单个神经元或小组神经元的活性中更局部编码，通常形成神经激活的稀疏载体。遵循Laiho等人。（2015），我们探索了符号推理，并具有稀疏分布式表示的特殊情况。使用来自压制感应的技术，我们首先表明经典VSA中的可变结合在数学上等同于稀疏特征向量之间的张量产品结合，这是另一个众所周知的结合操作，从而增加了维度。这种理论上的结果促使我们研究了二维保护的结合方法，其中包括将张量矩阵减少到单个稀疏向量中。一种通用稀疏矢量的一种结合方法使用随机投影，另一种块状圆形卷积，对于具有块结构，稀疏块编码的稀疏向量定义。我们的实验表明，块 - 本地卷积卷积结合具有理想特性，而基于随机投影的结合也有效，但是有损的。我们在示例应用中证明了具有块圆形圆形卷积和稀疏块码的VSA的性能与经典VSA相似。最后，我们在神经科学和神经网络的背景下讨论了我们的结果。
双稀疏量子态制备
状态准备算法可分为精确算法 [2, 3, 4, 5, 6] 和近似算法 [7, 8, 9, 10]。本文主要研究精确状态准备算法。精确状态准备可分为两类：i）准备量子态的算法，将每个模式逐一加载到量子叠加中，计算成本与振幅和量子比特的数量有关 [2, 5, 6]；ii）使用量子态分解来准备状态的算法，计算成本与所需状态的量子比特数呈指数关系 [11, 4, 12]。与量子比特数和输入模式数有关且计算成本呈指数关系的算法效率不高，只能用于生成具有少量量子比特的量子态。计算成本为 O（nM）的算法需要大量 CNOT，不适合 NISQ 设备。本文旨在开发一种算法，将稀疏数据传输到量子设备，经典计算机构建量子电路的计算成本为 O（Mlog（M）+ nM），与文献中以前的算法相比，该算法生成的量子电路具有较少的 CNOT 算子数量。为了实现这一目标，我们优化了连续值 QRAM [6]，定义了 D 中数据呈现的部分顺序。与最近在 [13] 中提出的稀疏量子态准备算法相比，后者使用经典计算机构建量子电路的计算成本为 O（M2 + nM），我们的方法在双稀疏情况下（关于振幅和状态中 1 的数量的稀疏）生成的电路具有较少的 CNOT 门数量。这项工作的其余部分分为 5 个部分。第 2 节介绍了这项工作中使用的量子算子。第 3 节介绍了 CV-QRAM 算法 [6]。第 4 节介绍了本文提出的 CVO-QRAM 算法。第 5 节介绍了实验结果并展示了所提算法所取得的改进。最后，第 6 节是结论。
稀疏的组过滤库表示模型
背景：在运动成像（MI）脑电图（EEG）记录以及在脑计算机界面（BCI）应用的MI分类中，常见的空间模式（CSP）已被广泛用于特征外观。BCI通常需要相对较长的脑电图数据来可靠的分类培训。更具体地，在使用一般空间模式进行特征提取之前，使用两个不同类别的训练词典来构造复合词典矩阵，并且在滤波器带中的测试样品的表示形式估计为字典矩阵中列的线性组合。新方法：减轻频率带之间的稀疏小样本（SS）问题。我们为BCI系统中的运动图像提出了一种新型的稀疏组过滤库模型（SGFB）。结果：我们通过基于对非零相关系数的类别表示残差来执行任务。此外，我们还在三个不同的时间窗口中使用约束过滤器频段执行关节稀疏优化，以在多任务学习框架中提取强大的CSP功能。为了验证我们的模型的有效性，我们对BCI竞争的公共EEG数据集进行了实验，以将其与其他竞争方法进行比较。与现有方法的比较：差异
神经形态计算机上的稀疏二进制矩阵向量乘法
摘要 — 神经形态计算机提供了低功耗、高效计算的机会。虽然它们主要应用于神经网络任务，但也有机会利用神经形态计算机的固有特性（低功耗、大规模并行、共置处理和内存）来执行非神经网络任务。在这里，我们演示了一种在神经形态计算机上执行稀疏二进制矩阵向量乘法的方法。我们描述了这种方法，它依赖于二进制矩阵向量乘法和广度优先搜索之间的联系，并介绍了以神经形态方式执行此计算的算法。我们在模拟中验证了该方法。最后，我们讨论了该算法的运行时间，并讨论了未来神经形态计算机在执行此计算时可能具有计算优势的地方。索引术语 — 神经形态计算、图算法、矩阵向量乘法、脉冲神经网络
一种用于跨领域脑电情绪分类的领域自适应稀疏表示分类器
脑机接口（BCI）解读人脑在意识活动过程中的生理信息，建立大脑与外界之间的直接信息传输通道。脑电图（EEG）作为最常见的非侵入式BCI模式，在BCI的情绪识别中起着重要作用；然而，由于EEG信号的个体差异性和非平稳性，针对不同受试者、不同会话和不同设备构建基于EEG的情绪分类器是一个重要的研究方向。领域自适应利用来自多个领域的数据或知识，专注于将知识从源域（SD）转移到目标域（TD），其中EEG数据可能来自不同的受试者、会话或设备。在本研究中，提出了一种新的领域自适应稀疏表示分类器（DASRC）来解决基于EEG的跨域情绪分类问题。为了减少域分布的差异，利用局部信息保留标准将来自SD和TD的样本投影到共享子空间中。在投影子空间中学习一个通用的领域不变字典，从而在 SD 和 TD 之间建立内在联系。此外，还利用主成分分析 (PCA) 和 Fisher 标准来提升学习字典的识别能力。此外，还提出了一种优化方法来交替更新子空间和字典学习。CSFDDL 的比较表明，该方法对于跨受试者和跨数据集的基于 EEG 的情绪分类问题具有可行性和竞争性性能。
基于传感器相关性情绪识别分类的稀疏Granger因果关系分析模型
近年来，基于脑电图（EEG）数据的情感计算吸引了人们的注意力越来越多。作为经典的EEG特征提取模型，Granger因果关系分析已被广泛用于情感分类模型，该模型通过计算EEG传感器之间的因果关系并选择关键的EEG特征来构建大脑网络。传统的EEG Granger因果关系分析使用L 2规范从数据中提取特征，因此结果容易受到脑电图的影响。最近，一些研究人员提出了基于绝对收缩和选择操作员（Lasso）和L 1/2规范的Granger因果关系分析模型来解决此问题。但是，常规的稀疏Granger因果关系分析模型假设每个传感器之间的连接具有相同的先验概率。本文表明，如果可以将每个传感器的脑电图数据之间的相关性添加到Granger因果关系网络中，则可以作为先验知识，则可以增强稀疏Granger因果模型的EEG特征选择能力和情感分类能力。基于这个想法，我们提出了一个新的情感计算模型，该模型将基于传感器相关（SC-SGA）的稀疏Granger因果关系分析模型。SC-SGA基于L 1 /2规范框架进行特征提取，将传感器作为先验知识之间的相关性与Granger因果关系分析，并使用L 2 Norm Logistic回归作为情感分类算法。我们使用两个真实的脑电图数据集报告了实验的结果。这些结果表明，SC-SGA模型的情绪分类准确性比现有模型的情绪分类精度高出2.46–21.81％。