XiaoMi-AI文件搜索系统
World File Search Systempars
基于熵的逻辑回归与自动相关性判定，用于稳健的稀疏脑活动解码
摘要 —最近的研究利用稀疏分类从高维大脑活动信号中预测分类变量以揭示人类的意图和心理状态，并在模型训练过程中自动选择相关特征。然而，现有的稀疏分类模型很容易受到大脑记录中固有噪声的影响而导致性能下降。为了解决这个问题，我们旨在在本研究中提出一种新的稳健稀疏分类算法。为此，我们将相关熵学习框架引入基于自动相关性确定的稀疏分类模型，提出一种新的基于相关熵的稳健稀疏逻辑回归算法。为了证明所提算法卓越的大脑活动解码性能，我们在合成数据集、脑电图 (EEG) 数据集和功能性磁共振成像 (fMRI) 数据集上对其进行了评估。大量实验结果证实，所提出的方法不仅可以在噪声和高维分类任务中实现更高的分类准确率，而且可以为解码场景选择更具信息量的特征。将相关熵学习方法与自动相关性确定技术相结合将显著提高对噪声的鲁棒性，从而产生更充分鲁棒的稀疏脑解码算法。它为现实世界的脑活动解码和脑机接口提供了更强大的方法。
功能性脑网络稀疏分层表征学习用于预测自闭症严重程度
机器学习算法已广泛应用于自闭症谱系障碍 (ASD) 的诊断工具，揭示了大脑连接的改变。然而，对于基于磁共振成像 (MRI) 的大脑网络是否与大规模队列中的 ASD 症状严重程度有关，人们知之甚少。我们提出了一个基于图卷积神经网络的框架，可以生成稀疏分层图表示以表示功能性大脑连接。我们没有为每个节点分配初始特征，而是利用特征提取器来导出节点特征，并将提取的表示输入到分层图自注意框架中，以有效地表示整个图。通过在特征提取器中结合连接嵌入，我们提出了邻接嵌入网络来表征大脑连接的异构表示。我们提出的模型变体优于具有不同配置的邻接嵌入网络和功能连接矩阵类型的基准模型。使用这种方法和最佳配置（用于节点定义的 SHEN 图集、用于连接性估计的 Tikhonov 相关性和身份邻接嵌入），我们能够以有意义的准确度预测单个 ASD 严重程度：预测和观察到的 ASD 严重程度评分之间的平均绝对误差 (MAE) 和相关性分别为 0.96 和 r = 0.61（P < 0.0001）。为了更好地理解如何生成更好的表示，我们使用典型相关分析研究了提取的特征嵌入和基于图论的节点测量之间的关系。最后，我们对模型进行了可视化，以确定对预测 ASD 严重程度评分最有贡献的功能连接。
分解方法的稀疏时空脑 -
摘要 - 准确的技术在解决大量数据的各种问题方面具有无限的作用。但是，这些技术尚未显示出处理脑信号的脑部计算机界面（BCIS）的竞争性能。基本上，脑信号很难大量收集，特别是在自发的BCI中，信息量将很少。此外，我们猜想任务之间的高空间和时间相似性增加了预测的困难。我们将这个问题定义为稀疏条件。为解决此问题，引入了分解方法，以允许该模型从潜在空间中获得不同的表示。为此，我们提出了两个特征提取器：通过对抗性学习作为发电机的对抗性学习进行训练；特定于类的模块利用分类产生的损失函数，以便使用传统方法提取功能。为了最大程度地减少班级和类别特征共享的潜在空间，该模型是在正交约束下训练的。因此，将脑电图分解为两个独立的潜在空间。评估是在单臂运动图像数据集上进行的。从结果中，我们证明了分解脑电图信号允许模型在稀疏条件下提取富裕和决定性的特征。
NISPA：受神经启发的稳定性-可塑性适应，用于稀疏网络中的持续学习
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现，利用后者来改进未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构，通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外，NISPA 使用连接重新布线来创建新的可塑性路径，以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明，NISPA 的表现明显优于具有代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
稀疏学习尖峰的生物启发实现......
摘要 — 神经系统，更具体地说是大脑，能够简单高效地解决复杂问题，远远超过现代计算机。在这方面，神经形态工程是一个研究领域，专注于模仿控制大脑的基本原理，以开发实现这种计算能力的系统。在这个领域，仿生学习和记忆系统仍然是一个有待解决的挑战，这就是海马体的作用所在。它是大脑中充当短期记忆的区域，允许学习和非结构化、快速存储来自大脑皮层所有感觉核的信息，并随后回忆起来。在这项工作中，我们提出了一种基于海马体的新型仿生记忆模型，该模型能够学习记忆，从提示（与其余内容相关的记忆的一部分）中回忆记忆，甚至在尝试学习具有相同提示的其他记忆时忘记记忆。该模型已在 SpiNNaker 硬件平台上使用脉冲神经网络实现，并进行了一系列实验和测试以证明其正确且符合预期的操作。所提出的基于脉冲的记忆模型仅在收到输入时才会产生脉冲，具有节能效果，并且学习步骤需要 7 个时间步，调用先前存储的记忆需要 6 个时间步。这项工作提出了第一个功能齐全的生物启发式基于脉冲的海马记忆模型的硬件实现，为未来更复杂的神经形态系统的开发铺平了道路。
预测和消除加速稀疏训练中的冗余计算
深度神经网络 (DNN) 是图像、语音和文本处理的最新技术。为了解决训练时间长和能耗高的问题，自定义加速器可以利用稀疏性，即零值权重、激活和梯度。提出的稀疏卷积神经网络 (CNN) 加速器支持使用不超过一个动态稀疏卷积输入进行训练。在现有的加速器类别中，唯一支持双面动态稀疏性的是基于外积的加速器。然而，当将卷积映射到外积时，会发生与任何有效输出都不对应的乘法。这些冗余笛卡尔积 (RCP) 降低了能源效率和性能。我们观察到在稀疏训练中，高达 90% 的计算都是 RCP，它们是由 CNN 训练后向传递期间大矩阵的卷积产生的，用于更新权重。在本文中，我们设计了一种机制 ANT 来预测和消除 RCP，与外积加速器结合使用时可以实现更高效的稀疏训练。通过预测超过 90% 的 RCP，在使用 DenseNet- 121 [ 38 ]、ResNet18 [ 35 ]、VGG16 [ 73 ]、Wide ResNet (WRN) [ 85 ] 和 ResNet-50 [ 35 ] 的 90% 稀疏训练中，ANT 比类 SCNN 加速器 [67] 实现了 3.71 倍的几何平均速度提升，能耗降低了 4.40 倍，面积增加了 0.0017 平方毫米。我们将 ANT 扩展到稀疏矩阵乘法，以便同一个加速器可以预测稀疏全连接层、Transformer 和 RNN 中的 RCP。
稀疏分布式表示
SDR 由数千个位组成，其中在任何时间点，一小部分位为 1，其余为 0。SDR 中的位对应于大脑中的神经元，1 表示相对活跃的神经元，0 表示相对不活跃的神经元。SDR 最重要的特性是每个位都有意义。因此，任何特定表示中的一组活跃位都编码了所表示内容的语义属性集。这些位没有标记（也就是说，没有人为这些位赋予意义），而是学习了位的语义意义。如果两个 SDR 在相同位置有活跃位，则它们共享这些位所表示的语义属性。通过确定两个 SDR 之间的重叠（两个 SDR 中均为 1 的等效位），我们可以立即看到两个表示在语义上如何相似以及它们在语义上如何不同。由于这种语义重叠特性，基于 SDR 的系统会自动根据语义相似性进行概括。
Exadata ACFS 快照和稀疏克隆
• 可选择屏蔽测试主数据库中的敏感数据 • 使用一条命令从此处创建节省空间的测试/开发数据库，适用于 PDB • 快照上提供 Exadata Smart 功能（查询卸载、存储索引、智能日志、智能闪存缓存、HCC 等） • 挑战 — 刷新测试主数据库会使现有快照无效；必须创建新的完整测试主数据库才能创建新的刷新的 Exadata 快照