XiaoMi-AI文件搜索系统
World File Search System稀疏
NISPA：受神经启发的稳定性-可塑性适应，用于稀疏网络中的持续学习
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现，利用后者来改进未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构，通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外，NISPA 使用连接重新布线来创建新的可塑性路径，以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明，NISPA 的表现明显优于具有代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
稀疏学习尖峰的生物启发实现......
摘要 — 神经系统，更具体地说是大脑，能够简单高效地解决复杂问题，远远超过现代计算机。在这方面，神经形态工程是一个研究领域，专注于模仿控制大脑的基本原理，以开发实现这种计算能力的系统。在这个领域，仿生学习和记忆系统仍然是一个有待解决的挑战，这就是海马体的作用所在。它是大脑中充当短期记忆的区域，允许学习和非结构化、快速存储来自大脑皮层所有感觉核的信息，并随后回忆起来。在这项工作中，我们提出了一种基于海马体的新型仿生记忆模型，该模型能够学习记忆，从提示（与其余内容相关的记忆的一部分）中回忆记忆，甚至在尝试学习具有相同提示的其他记忆时忘记记忆。该模型已在 SpiNNaker 硬件平台上使用脉冲神经网络实现，并进行了一系列实验和测试以证明其正确且符合预期的操作。所提出的基于脉冲的记忆模型仅在收到输入时才会产生脉冲，具有节能效果，并且学习步骤需要 7 个时间步，调用先前存储的记忆需要 6 个时间步。这项工作提出了第一个功能齐全的生物启发式基于脉冲的海马记忆模型的硬件实现，为未来更复杂的神经形态系统的开发铺平了道路。
预测和消除加速稀疏训练中的冗余计算
深度神经网络 (DNN) 是图像、语音和文本处理的最新技术。为了解决训练时间长和能耗高的问题，自定义加速器可以利用稀疏性，即零值权重、激活和梯度。提出的稀疏卷积神经网络 (CNN) 加速器支持使用不超过一个动态稀疏卷积输入进行训练。在现有的加速器类别中，唯一支持双面动态稀疏性的是基于外积的加速器。然而，当将卷积映射到外积时，会发生与任何有效输出都不对应的乘法。这些冗余笛卡尔积 (RCP) 降低了能源效率和性能。我们观察到在稀疏训练中，高达 90% 的计算都是 RCP，它们是由 CNN 训练后向传递期间大矩阵的卷积产生的，用于更新权重。在本文中，我们设计了一种机制 ANT 来预测和消除 RCP，与外积加速器结合使用时可以实现更高效的稀疏训练。通过预测超过 90% 的 RCP，在使用 DenseNet- 121 [ 38 ]、ResNet18 [ 35 ]、VGG16 [ 73 ]、Wide ResNet (WRN) [ 85 ] 和 ResNet-50 [ 35 ] 的 90% 稀疏训练中，ANT 比类 SCNN 加速器 [67] 实现了 3.71 倍的几何平均速度提升，能耗降低了 4.40 倍，面积增加了 0.0017 平方毫米。我们将 ANT 扩展到稀疏矩阵乘法，以便同一个加速器可以预测稀疏全连接层、Transformer 和 RNN 中的 RCP。
稀疏分布式表示
SDR 由数千个位组成，其中在任何时间点，一小部分位为 1，其余为 0。SDR 中的位对应于大脑中的神经元，1 表示相对活跃的神经元，0 表示相对不活跃的神经元。SDR 最重要的特性是每个位都有意义。因此，任何特定表示中的一组活跃位都编码了所表示内容的语义属性集。这些位没有标记（也就是说，没有人为这些位赋予意义），而是学习了位的语义意义。如果两个 SDR 在相同位置有活跃位，则它们共享这些位所表示的语义属性。通过确定两个 SDR 之间的重叠（两个 SDR 中均为 1 的等效位），我们可以立即看到两个表示在语义上如何相似以及它们在语义上如何不同。由于这种语义重叠特性，基于 SDR 的系统会自动根据语义相似性进行概括。
Exadata ACFS 快照和稀疏克隆
• 可选择屏蔽测试主数据库中的敏感数据 • 使用一条命令从此处创建节省空间的测试/开发数据库，适用于 PDB • 快照上提供 Exadata Smart 功能（查询卸载、存储索引、智能日志、智能闪存缓存、HCC 等） • 挑战 — 刷新测试主数据库会使现有快照无效；必须创建新的完整测试主数据库才能创建新的刷新的 Exadata 快照
使用稀疏极限学习机进行癫痫和癫痫发作检测的多类分类的 LETTER VLSI 设计
摘要 一种用于区分健康、发作期和发作间期脑电图信号的自动检测系统在临床实践中具有重要意义。本文介绍了一种用于癫痫和癫痫发作检测的低复杂度三类分类 VLSI 系统。设计的系统包括基于离散小波变换 (DWT) 的特征提取模块、稀疏极限学习机 (SELM) 训练模块和多类分类器模块。在三级 DWT 中引入了 Daubechies 4 阶小波的提升结构，以节省电路面积并加快计算时间。SELM 是一种新型的机器学习算法，具有低硬件复杂度和高性能，用于片上训练。由于其分类精度高，因此首次设计了一对一的多类非线性 SELM。设计的系统在 FPGA 平台上实现，并使用公开的癫痫数据集进行评估。实验结果表明，设计的系统在低维特征向量下实现了高精度。关键词：低复杂度，分类，DWT，多类，SELM 分类：集成电路（存储器，逻辑，模拟，RF，传感器）
Kim，B。H.，Choi，Y.H.，Yang，J.J.，Kim，S.，Nho，K.，Lee，J.M。，＆Alzheimer's Disision神经影像学计划。 （2020）。识别新的Gen 尼古丁促进了链球菌链球菌外多糖合成，细胞聚集和总乳酸脱氢酶活性 道路建设项目的临时交通控制装置检测 骨细胞EGLN1/PHD2通过FGF23 辐射诱导的光子疗法与质子治疗的淋巴细胞减少症患者患者 燃烧的余烬：朝着更透明和强大的气候变化风险评估 硬化蛋白耗竭会诱导小鼠的骨髓炎症 等离子体P-TAU217预测常染色体显性阿尔茨海默氏病的体内脑病理学和认知 使用与身体部位的约束融合进行自动驾驶的计算有效的行人检测 通过联合多任务稀疏规范相关分析和分类来识别诊断特异性基因型 - 表型关联 非遗传性视网膜疾病的基因治疗 结合tau低聚物并抑制供体提取物的病理播种的构象抗体的晶体结构 祖先古细菌用吡咯氨酸扩大了遗传密码 贝叶斯自适应阶段I/II/II临床试验设计延迟...
Kim，B。H.，Choi，Y.H.，Yang，J.J.，Kim，S.，Nho，K.，Lee，J.M。，＆Alzheimer's Disision神经影像学计划。 （2020）。 鉴定了与阿尔茨海默氏病中皮质厚度相关的新型基因：系统生物学方法的神经影像学方法。 阿尔茨海默氏病杂志，75（2），531-545。 https://doi.org/10.3233/jad-191175Kim，B。H.，Choi，Y.H.，Yang，J.J.，Kim，S.，Nho，K.，Lee，J.M。，＆Alzheimer's Disision神经影像学计划。（2020）。鉴定了与阿尔茨海默氏病中皮质厚度相关的新型基因：系统生物学方法的神经影像学方法。阿尔茨海默氏病杂志，75（2），531-545。 https://doi.org/10.3233/jad-191175
利用稀疏混合专家扩展视野
稀疏门控混合专家网络 (MoE) 在自然语言处理中表现出色。然而，在计算机视觉中，几乎所有高性能网络都是“密集的”，也就是说，每个输入都由每个参数处理。我们提出了一种视觉 MoE (V-MoE)，它是 Vision Transformer 的稀疏版本，具有可扩展性，可与最大的密集网络相媲美。当应用于图像识别时，V-MoE 的性能可与最先进的网络相媲美，同时在推理时只需要一半的计算量。此外，我们提出了一种路由算法的扩展，该算法可以对整个批次中每个输入的子集进行优先级排序，从而实现自适应的每幅图像计算。这使得 V-MoE 能够在测试时权衡性能并顺利计算。最后，我们展示了 V-MoE 扩展视觉模型的潜力，并训练了一个 15B 参数模型，在 ImageNet 上达到了 90.35% 的准确率。