XiaoMi-AI文件搜索系统
World File Search SystemHDC
节俭：跨闪存层次结构进行超维度计算的培训
超维度计算（HDC）是一种受脑启发的计算范式，可与高维矢量，高矢量，而不是数字一起使用。HDC用位，更简单的算术操作代替了几个复杂的学习组成，从而产生了更快，更节能的学习算法。但是，由于将数据映射到高维空间中，因此它是以增加数据的成本来处理的。虽然某些数据集可能几乎适合内存，但最终的过量向量通常无法存储在内存中，从而导致长期数据传输从存储中。在本文中，我们提出了节俭，这是一种存储计算（ISC）解决方案，该解决方案在整个闪存层次结构上执行HDC编码和训练。为了隐藏培训的延迟并启用有效的计算，我们介绍了HDC中的批处理概念。它使我们能够将HDC培训分为子组件并独立处理。我们还首次提出了HDC的芯片加速度，该加速器使用简单的低功率数字电路来实现闪光平面中的HDC编码。这使我们能够探索Flash层次结构提供的高内部并行性，并与可忽略不计的延迟开销并行编码多个数据点。节俭还实现了单个顶级FPGA加速器，该加速器进一步处理了从芯片中获得的数据。我们利用最先进的内部人ISC基础架构来扩展顶级加速器，并为节俭提供软件支持。节俭的人完全在存储中进行HDC培训，同时几乎完全隐藏了计算的延迟。我们对五个流行分类数据集的评估表明，节俭平均比CPU服务器快1612×。4×比最先进的ISC解决方案快4×，用于HDC编码和培训的内幕。
受大脑启发的超维计算，实现超高效的边缘 AI
摘要 — 超维计算 (HDC) 正在迅速成为传统深度学习算法的有吸引力的替代方案。尽管深度神经网络 (DNN) 在许多领域取得了巨大的成功，但它们在训练期间所需的计算能力和存储空间使得将它们部署在边缘设备中非常具有挑战性，甚至不可行。这反过来不可避免地需要将数据从边缘传输到云端，这在可用性、可扩展性、安全性和隐私方面引发了严重的担忧。此外，边缘设备通常从传感器接收的数据本质上是有噪声的。然而，DNN 算法对噪声非常敏感，这使得以高精度完成所需的学习任务变得非常困难。在本文中，我们旨在全面概述 HDC 的最新进展。HDC 旨在通过使用更接近人脑的策略来实现实时性能和稳健性。事实上，HDC 的动机是人类大脑在高维数据表示上运行的观察。在 HDC 中，对象被编码为具有数千个元素的高维向量。在本文中，我们将讨论 HDC 算法对噪声的良好鲁棒性以及从少量数据中学习的能力。此外，我们将介绍 HDC 与冯·诺依曼架构之外的出色协同作用，以及 HDC 如何通过其所需的超轻量级实现为边缘高效学习打开大门，这与传统 DNN 不同。索引术语 — 超维计算、嵌入式系统、节能计算、对抗性攻击、电压调节、内存计算、安全、图形、机器人、计算机视觉
下一代赛道记忆中的大脑启发认知
超维计算 (HDC) 是一种新兴的计算框架，其灵感来自大脑，它对具有数千个维度的向量进行操作以模拟认知。与对数字进行操作的传统计算框架不同，HDC 与大脑一样，使用高维随机向量，并且能够进行一次性学习。HDC 基于一组定义明确的算术运算，具有很强的错误恢复能力。HDC 的核心操作以批量逐位方式操纵 HD 向量，提供了许多利用并行性的机会。不幸的是，在传统的冯·诺依曼架构中，HD 向量在处理器和内存之间的连续移动会使认知任务变得非常缓慢且耗能。硬件加速器只能略微改善相关指标。相比之下，即使是内存中 HDC 框架的部分实现也可以提供相当大的性能/能量增益，正如之前使用忆阻器的工作所证明的那样。本文介绍了一种基于赛道内存 (RTM) 的架构，用于在内存中执行和加速整个 HDC 框架。所提出的解决方案利用 RTM 中跨多个域的读取操作（称为横向读取 (TR)）来实现异或 (XOR) 和加法运算，从而只需极少的额外 CMOS 电路。为了最大限度地减少 CMOS 电路开销，提出了一种基于 RTM 纳米线的计数机制。以语言识别为示例工作负载，所提出的 RTM HDC 系统与最先进的内存实现相比，将能耗降低了 8.6 倍。与使用 FPGA 实现的专用硬件设计相比，基于 RTM 的 HDC 处理在整体运行时间和能耗方面分别实现了 7.8 倍和 5.3 倍的提升。
测试和增强高维计算的对抗性鲁棒性
摘要 - 脑启发的超维度计算（HDC），也称为矢量符号结构（VSA），是一种急剧的“非von neumann”计算方案，该方案模仿人脑功能以处理信息或使用抽象和高维模式来处理信息或执行学习任务。与深神经网络（DNN）相比，HDC显示出诸如紧凑的模型大小，能量效率和少量学习的优势。尽管有这些优势，但HDC的一个不足的区域是对抗性的鲁棒性。现有的作品表明，HDC容易受到对抗性攻击的攻击，在这种攻击中，攻击者可以在原始输入中添加少量扰动到“傻瓜” HDC模型，从而产生错误的预测。在本文中，我们通过开发一种系统的方法来测试和增强HDC对对抗性攻击的鲁棒性，系统地研究HDC的对抗性鲁棒性，并具有两个主要成分：（1）TestHD，这是一种可以为给定的HDC模型生成高素质高素质的测试工具，该工具可以为给定的HDC模型生成高素质的高素质数据； （2）GuardHD，它利用TestHD生成的对抗数据来增强HDC模型的对抗性鲁棒性。testHD的核心思想建立在模糊测试方法之上。我们通过提出基于相似性的覆盖率度量来定制模糊方法，以指导TestHD连续突变原始输入，以生成可能触发HDC模型不正确行为的新输入。由于使用差异测试，TestHD不需要事先知道样品的标签。为了增强对抗性鲁棒性，我们设计，实施和评估GuardHD以捍卫HDC模型免受对抗数据的影响。GuardHD的核心思想是一种对抗探测器，可以通过测试HDD生成的对抗样本训练。在推断期间，一旦检测到对抗样本，GuardHD将用“无效”信号覆盖词典结果。我们评估了4个数据集和5个对抗性攻击方案的提议方法，具有6种对抗生成策略和2种防御机制，并相应地比较了性能。GuardHD能够区分精度超过90％的良性和对抗性输入，比基于对抗性训练的基线高达55％。据我们所知，本文在系统地测试和增强对这种新兴脑启发的计算模型的对抗数据的鲁棒性方面提出了第一个全面的努力。索引术语 - 远程计算，差异绒毛测试，对抗攻击，强大的计算
下一代赛道记忆中的大脑启发认知
超维计算 (HDC) 是一种新兴的计算框架，其灵感来自大脑，它对具有数千个维度的向量进行操作以模拟认知。与对数字进行操作的传统计算框架不同，HDC 与大脑一样，使用高维随机向量，并且能够进行一次性学习。HDC 基于一组定义明确的算术运算，具有很强的错误恢复能力。HDC 的核心操作以批量逐位方式操纵 HD 向量，提供了许多利用并行性的机会。不幸的是，在传统的冯·诺依曼架构中，HD 向量在处理器和内存之间的连续移动会使认知任务变得非常缓慢且耗能。硬件加速器只能略微改善相关指标。相比之下，即使是内存中 HDC 框架的部分实现也可以提供相当大的性能/能量增益，正如先前使用忆阻器的工作所证明的那样。本文介绍了一种基于赛道内存 (RTM) 的架构，用于在内存中执行和加速整个 HDC 框架。所提出的解决方案利用 RTM 中跨多个域的读取操作（称为横向读取 (TR)）来实现异或 (XOR) 和加法运算，从而只需要极少的额外 CMOS 电路。为了最大限度地减少 CMOS 电路开销，提出了一种基于 RTM 纳米线的计数机制。以语言识别为示例工作负载，与最先进的内存实现相比，所提出的 RTM HDC 系统将能耗降低了 8.6 倍。与使用 FPGA 实现的专用硬件设计相比，基于 RTM 的 HDC 处理在整体运行时间和能耗方面分别展示了 7.8 倍和 5.3 倍的改进。
使用量子算法进行全息特征分解
本文讨论了超维计算（HDC）（又称向量符号架构（VSA））中全息特征向量的分解。HDC 使用具有类似大脑特性的高维向量来表示符号信息，并利用高效的运算符以认知方式构建和操作复杂结构化数据。现有模型在分解这些结构时面临挑战，而分解过程对于理解和解释复合超向量至关重要。我们通过提出 HDC 记忆分解问题来应对这一挑战，该问题捕捉了 HDC 模型中常见的构造模式。为了有效地解决这个问题，我们引入了超维量子记忆分解算法 HDQMF。HDQMF 的方法独特，利用量子计算提供高效的解决方案。它修改了 Grover 算法中的关键步骤来实现超向量分解，从而实现了二次加速。
节能的受大脑启发的超维......
摘要 — 近年来，受脑启发的超维计算 (HDC) 在医疗诊断、人类活动识别和语音分类等广泛应用中展示了良好的性能。尽管 HDC 越来越受欢迎，但其以内存为中心的计算特性使得联想内存实现由于海量数据的存储和处理而能耗巨大。在本文中，我们提出了一个系统的案例研究，利用 HDC 的应用级错误恢复能力，通过电压调节来降低 HDC 联想内存的能耗。对各种应用的评估结果表明，我们提出的方法可以在联想内存上节省 47.6% 的能耗，而准确度损失不超过 1%。我们进一步探索了两种低成本的错误屏蔽方法：字屏蔽和位屏蔽，以减轻电压调节引起的错误的影响。实验结果表明，提出的字屏蔽（位屏蔽）方法可以进一步提高节能效果，最高可达 62.3%（72.5%），准确度损失不超过 1%。
使用高维计算的鲁棒聚类
摘要 - 本文介绍了超维计算（HDC）域中数据的聚类。在先前的工作中，已经提出了一个基于HDC的聚类框架，称为HDCluster。但是，现有的HDCluster的性能并不强大。在初始化步骤中随机选择簇的高量向量，HDCluster的性能被降解。为了克服这种瓶颈，我们通过探索编码数据的相似性（称为查询过量向量，分配了初始群集过度向量。组内过度向量的相似性比组间高向量具有更高的相似性。利用查询过量向量之间的相似性结果，本文提出了四种基于HDC的聚类算法：基于相似性的K-均值，相等的Bin宽度直方图，相等的BIN高度直方图和基于相似性的亲和力传播。实验结果说明：（i）与现有的HDCluster相比，我们提出的基于HDC的聚类算法可以实现更好的准确性，更健壮的性能，更少的迭代和更少的执行时间。基于相似性的亲和力提出优于八个数据集上的其他三种基于HDC的聚类算法，而聚类准确性则高于2％约38％。（ii）即使对于一通聚类，即没有群集高量向量的任何迭代更新，我们提出的算法也可以提供比HDClter更强大的聚类精度。（iii）在八个数据集上，当八分之一的数据集投影到高维空间上时，八分之一可以达到更高或可比的精度。传统聚类比HDC更可取，当时簇数k的数量很大。
Great Gransden邻里计划
1.1本文件是2021年至2036年期间指定的GRANSDEN计划区域（图1，第11页）的Great Gransden邻里计划（GGNP）。邻里计划的目的是为计划领域的未来发展设定框架，当地规划管理局是亨廷顿郡区议会（HDC）。进行后，GGNP具有与HDC制定的本地计划相同的法律权重。GGNP将与采用的HDC本地计划（上次修订2019年）和国家规划政策框架（NPPF，最后修订的2021年）一起坐在一起，他们将共同为Great Gransden教区提供法定发展计划。地方规划机构必须遵循GGNP中有关该地区规划申请的决定，但要遵守其他物质考虑。
具有类脑神经适应能力的稳健且可扩展的超维计算
一、问题和动机物联网 (IoT) 促进了许多利用基于边缘的机器学习 (ML) 方法来分析本地收集的数据的应用。不幸的是，流行的 ML 算法通常需要超出当今物联网设备能力的密集计算。受大脑启发的超维计算 (HDC) 已被引入以解决这个问题。然而，现有的 HDC 使用静态编码器，需要极高的维数和数百次训练迭代才能达到合理的准确度。这导致了巨大的效率损失，严重阻碍了 HDC 在物联网系统中的应用。我们观察到一个主要原因是现有 HDC 的编码模块缺乏利用和适应训练期间学习到的信息的能力。相比之下，如图 1(a) 所示，人类大脑中的神经元一直在动态再生，并在学习新信息时提供更有用的功能 [1]。虽然 HDC 的目标是利用随机生成的基础超向量的高维性来将信息表示为神经活动的模式，但现有的 HDC 仍然很难支持与大脑神经再生类似的行为。在这项工作中，我们提出了动态 HDC 学习框架，可以识别和再生不需要的维度，以在显著降低维数的情况下提供足够的准确性，从而加速训练和推理。 II. 背景和相关工作 A. 物联网和基于边缘的学习 许多新颖的框架和库已经开发出来，以在资源受限的计算平台上定制流行的 ML 算法，包括 TinyML [2]、TensorFlow Lite [3]、edge-ml [4]、X-Cube-AI [5] 等。然而，这些学习方法通常需要大量的训练样本和多个训练周期，超出了当今物联网设备的能力。同时，利用目标平台的学习结构和特性，研究人员提出了许多提高基于边缘的学习效率的技术，例如分割计算 [6]、联邦学习 [7]、[8]、知识蒸馏 [9]。这些技术与我们的方法正交，可以与我们的方法集成，以进一步提高学习性能。