XiaoMi-AI文件搜索系统
World File Search SystemHyperVector
为有效的超维度计算的HyperVector设计
超维度计算（HDC）已成为具有较小的计算和能量需求的新型轻质学习算法。在HDC中，数据点由高维矢量（高向量）表示，这些矢量映射到高维空间（超空间）。典型地，需要大型的Hypervector维度（≥1000）才能获得与常规替代方案相当的精确度。但是，不一定的大型向量增加了硬件和能源成本，这可能会破坏其收益。本文提出了一种技术，可以最大程度地减少HyperVector维度，同时保持准确性并提高分类器的鲁棒性。为此，我们在文献中首次将HyperVector设计作为多目标优化问题。所采用的方法将HyperVector维度降低了32倍以上，同时维持或提高了常规HDC所达到的准确性。在商业硬件平台上进行的实验表明，所提出的方法可以减少模型大小，推理时间和能耗的数量级以上。我们还展示了噪声的准确性和鲁棒性之间的权衡，并提供帕累托前溶液作为我们HyperVector设计中的设计参数。
HDTest：受大脑启发的超维计算的差分模糊测试
摘要 — 受脑启发的超维计算 (HDC) 是一种新兴的计算范式，它模仿大脑认知并利用具有完全分布式全息表示和（伪）随机性的超维向量。与深度神经网络 (DNN) 等其他机器学习 (ML) 方法相比，HDC 具有高能效、低延迟和一次性学习等优势，使其成为广泛应用的有前途的替代候选者。然而，HDC 模型的可靠性和稳健性尚未得到探索。在本文中，我们设计、实现和评估 HDTest 以通过在罕见输入下自动暴露意外或不正确的行为来测试 HDC 模型。HDTest 的核心思想基于引导式差分模糊测试。在 HDC 中查询超向量和参考超向量之间的距离的引导下，HDTest 不断变异原始输入以生成可能触发 HDC 模型不正确行为的新输入。与传统的 ML 测试方法相比，HDTest 不需要手动标记原始输入。以手写数字分类为例，我们表明 HDTest 可以生成数千个对抗性输入，这些输入的干扰可以忽略不计，可以成功欺骗 HDC 模型。平均而言，HDTest 在一台商用计算机上运行一分钟内可以生成大约 400 个对抗性输入。最后，通过使用 HDTest 生成的输入重新训练 HDC 模型，我们可以增强 HDC 模型的稳健性。据我们所知，本文首次尝试系统地测试这种新兴的受大脑启发的计算模型。
使用量子算法进行全息特征分解
本文讨论了超维计算（HDC）（又称向量符号架构（VSA））中全息特征向量的分解。HDC 使用具有类似大脑特性的高维向量来表示符号信息，并利用高效的运算符以认知方式构建和操作复杂结构化数据。现有模型在分解这些结构时面临挑战，而分解过程对于理解和解释复合超向量至关重要。我们通过提出 HDC 记忆分解问题来应对这一挑战，该问题捕捉了 HDC 模型中常见的构造模式。为了有效地解决这个问题，我们引入了超维量子记忆分解算法 HDQMF。HDQMF 的方法独特，利用量子计算提供高效的解决方案。它修改了 Grover 算法中的关键步骤来实现超向量分解，从而实现了二次加速。
基于局部性的编码器和模型量化，用于有效的超维计算
摘要 - 脑启发的高维（HD）计算是一种新的计算范式，可以模仿高维空间中神经元的活性。HD计算中的第一个步骤是将每个数据点映射到高维空间（例如10,000）中，该空间需要计算原始域中每个数据元素的数千个操作。单独编码大约需要培训执行时间的80％。在本文中，我们提出，REHD，用于HD Computing中的编码，培训和推断的整个重做，以实现更硬件友好的实现。REHD包括用于HD计算的完全二进制编码模块，用于能量良好和高智能分类。我们基于随机投影的编码模块可以在硬件中有效地实现可预测的内存访问模式。REHD是第一个基于HD的方法，它提供了与原始数据1：1比率的数据投影，并启用使用二进制HyperVector进行所有培训/推理计算。在优化后，重新添加了编码过程，重新培训和推断成为HD计算的能源密集型部分。为解决此问题，我们还提出了模型量化。模型量化引入了一种新型的方法，该方法是使用n位存储类高量向量的方法，其中n范围为1至32，而不是以完整的32位精度，从而可以在能量效率和准确性之间进行折衷的细节调整。为了进一步提高REHD效率，我们开发了一种在线尺寸缩小方法，可以消除训练期间无效的高度向量维度。
内存超维计算
生物计算系统以准确性换取效率。因此，降低人工智能系统能耗的一种解决方案是采用本质上对不确定性具有鲁棒性的计算方法。超维计算 (HDC) 就是这样一个框架，它基于这样的观察：人类记忆、感知和认知的关键方面可以通过由高维二进制向量（称为超向量）组成的超维空间的数学特性来解释。超向量定义为具有独立且相同分布 (iid) 分量 1 的 d 维（其中 d ≥ 1,000）（伪）随机向量。当维数为数千时，存在大量准正交超向量。这允许 HDC 使用明确定义的向量空间运算将这些超向量组合成新的超向量，这些运算的定义使得生成的超向量是唯一的，并且具有相同的维数。可以在丰富的超向量代数上构建强大的计算系统 2 。超向量上的群、环和域成为底层计算结构，而排列、映射和逆则是原始计算操作。近年来，HDC 被广泛应用于机器学习、认知计算、机器人和传统计算等各个领域。它在涉及时间模式的机器学习应用中显示出巨大的潜力，例如文本分类 3 、生物医学信号处理 4、5 、多模态传感器融合 6 和分布式传感器 7、8 。HDC 的一个关键优势是训练算法只需一次或几次即可完成：也就是说，对象类别是从一个或几个示例中学习到的，并且只需对训练数据进行一次传递，而不是经过多次迭代。在突出的机器学习应用中，与支持向量机 (SVM) 4 、极端梯度提升 9 和卷积神经网络 (CNN) 10 相比，HDC 以更少的训练示例实现了相似或更高的准确率，与 SVM 11、CNN 和长短期记忆 5 相比，在嵌入式 CPU/GPU 上的执行能耗更低。HDC 在认知计算中的应用包括解决瑞文渐进矩阵 12 、蜜蜂概念学习的功能模仿 13 和类比