XiaoMi-AI文件搜索系统
World File Search System超维
节能的受大脑启发的超维......
摘要 — 近年来，受脑启发的超维计算 (HDC) 在医疗诊断、人类活动识别和语音分类等广泛应用中展示了良好的性能。尽管 HDC 越来越受欢迎，但其以内存为中心的计算特性使得联想内存实现由于海量数据的存储和处理而能耗巨大。在本文中，我们提出了一个系统的案例研究，利用 HDC 的应用级错误恢复能力，通过电压调节来降低 HDC 联想内存的能耗。对各种应用的评估结果表明，我们提出的方法可以在联想内存上节省 47.6% 的能耗，而准确度损失不超过 1%。我们进一步探索了两种低成本的错误屏蔽方法：字屏蔽和位屏蔽，以减轻电压调节引起的错误的影响。实验结果表明，提出的字屏蔽（位屏蔽）方法可以进一步提高节能效果，最高可达 62.3%（72.5%），准确度损失不超过 1%。
峰值超维网络：与内存启发的框架集成的神经形态模型
最近，从鲁棒性和能量效率方面，受到脑启发的计算模型表现出巨大的潜力，可以超越当今的深度学习解决方案。尤其是，尖峰神经网络（SNN）和高维计算（HDC）在实现了有效和鲁棒的认知学习方面表现出了令人鼓舞的结果。尽管取得了成功，但这两个受大脑启发的模型具有不同的优势。SNN模仿了人脑的物理特性，而HDC则以更抽象和功能水平对大脑进行建模。他们的设计理念展示了激励其组合的互补模式。在记忆的经典心理模型的帮助下，我们提出了SpikeHD，这是第一个从根本上结合尖峰神经网络和超维计算的框架。SpikeHD生成了一个可扩展且强大的认知学习系统，可以更好地模仿大脑功能。SpikeHD通过保留基于原始事件的Spike数据的空间和时间相关性来利用尖峰神经网络提取低级特征。然后，它利用HDC通过将信号映射到高维空间，学习抽象信息并对数据进行分类来通过SNN输出进行操作。我们对一组基准测试问题的广泛评估表明，与SNN架构相比，SpikeHD提供了以下好处：（1）通过利用两阶段信息处理来增强学习能力，（2）使噪声和失败的实质性稳健性和（3）减少网络的大小和需求的参数，从而使学习能力具有重要的功能。
HDXPlore：自动化的黑盒测试脑启发的超维度计算
摘要 - 由人脑的工作方式吸引，急剧的高维计算（HDC）正在受到越来越多的关注。HDC是一种基于大脑的工作机理的新兴计算方案，该方案具有深层和抽象的神经活动模式而不是实际数字。与传统的ML算法（例如DNN）相比，HDC以内存为中心，授予其优势，例如相对较小的模型大小，较小的计算成本和一声学习，使其成为低成本计算平台中的有前途的候选人。但是，尚未系统地研究HDC模型的鲁棒性。在本文中，我们通过开发基于黑盒差异测试的框架来系统地揭示HDC模型的意外或不正确行为。我们利用具有与交叉引用甲环类似功能的多个HDC模型，以避免手动检查或标记原始输入。我们还提出了HDXplore中不同的扰动机制。HDXplore自动发现了HDC模型的数千种不正确的角案例行为。我们提出了两种重新训练机制，并使用HDXplore生成的角病例来重新培训HDC模型，我们可以将模型准确性提高高达9％。
超维计算的平行体系结构
高维计算代表了一种相对不同的方法来接近人工intel-intel-ligence，而不是成为主流。它专注于使用连接范式与一组简单的代数操作的使用，以形成一个强大的框架来表示观察。在本文中，我们展示了这些代数操作如何用于为超维语言模型构建并行算法。我们首先提出一个问题，即从工程和科学的角度来看，为什么这是有用的。然后，我们展示了如何构建DI设并行算法来回答这些问题的每个问题。一种算法着重于将数据分配给DI设工人，以最大程度地减少运行时，而另一种算法则侧重于分布不同的嵌入技术，以便在大脑启发的过程中进行并行学习。这两种算法都能够实现出色的效率，但是将数据分配到多个工人的算法是最有效的。我们将这些方法与流行的Word2Vec模型进行了比较，并显示它们如何在用于测试单词嵌入的原始指标之一（TOEFL测试）上胜过它们。最后，我们描述了我们对未来工作的愿景，特别是使用算法与语言和视觉的联合超二维模型并行学习多模式嵌入。
基于局部性的编码器和模型量化，用于有效的超维计算
摘要 - 脑启发的高维（HD）计算是一种新的计算范式，可以模仿高维空间中神经元的活性。HD计算中的第一个步骤是将每个数据点映射到高维空间（例如10,000）中，该空间需要计算原始域中每个数据元素的数千个操作。单独编码大约需要培训执行时间的80％。在本文中，我们提出，REHD，用于HD Computing中的编码，培训和推断的整个重做，以实现更硬件友好的实现。REHD包括用于HD计算的完全二进制编码模块，用于能量良好和高智能分类。我们基于随机投影的编码模块可以在硬件中有效地实现可预测的内存访问模式。REHD是第一个基于HD的方法，它提供了与原始数据1：1比率的数据投影，并启用使用二进制HyperVector进行所有培训/推理计算。在优化后，重新添加了编码过程，重新培训和推断成为HD计算的能源密集型部分。为解决此问题，我们还提出了模型量化。模型量化引入了一种新型的方法，该方法是使用n位存储类高量向量的方法，其中n范围为1至32，而不是以完整的32位精度，从而可以在能量效率和准确性之间进行折衷的细节调整。为了进一步提高REHD效率，我们开发了一种在线尺寸缩小方法，可以消除训练期间无效的高度向量维度。
HDTest：受大脑启发的超维计算的差分模糊测试
摘要 — 受脑启发的超维计算 (HDC) 是一种新兴的计算范式，它模仿大脑认知并利用具有完全分布式全息表示和（伪）随机性的超维向量。与深度神经网络 (DNN) 等其他机器学习 (ML) 方法相比，HDC 具有高能效、低延迟和一次性学习等优势，使其成为广泛应用的有前途的替代候选者。然而，HDC 模型的可靠性和稳健性尚未得到探索。在本文中，我们设计、实现和评估 HDTest 以通过在罕见输入下自动暴露意外或不正确的行为来测试 HDC 模型。HDTest 的核心思想基于引导式差分模糊测试。在 HDC 中查询超向量和参考超向量之间的距离的引导下，HDTest 不断变异原始输入以生成可能触发 HDC 模型不正确行为的新输入。与传统的 ML 测试方法相比，HDTest 不需要手动标记原始输入。以手写数字分类为例，我们表明 HDTest 可以生成数千个对抗性输入，这些输入的干扰可以忽略不计，可以成功欺骗 HDC 模型。平均而言，HDTest 在一台商用计算机上运行一分钟内可以生成大约 400 个对抗性输入。最后，通过使用 HDTest 生成的输入重新训练 HDC 模型，我们可以增强 HDC 模型的稳健性。据我们所知，本文首次尝试系统地测试这种新兴的受大脑启发的计算模型。
节俭：跨闪存层次结构进行超维度计算的培训
超维度计算（HDC）是一种受脑启发的计算范式，可与高维矢量，高矢量，而不是数字一起使用。HDC用位，更简单的算术操作代替了几个复杂的学习组成，从而产生了更快，更节能的学习算法。但是，由于将数据映射到高维空间中，因此它是以增加数据的成本来处理的。虽然某些数据集可能几乎适合内存，但最终的过量向量通常无法存储在内存中，从而导致长期数据传输从存储中。在本文中，我们提出了节俭，这是一种存储计算（ISC）解决方案，该解决方案在整个闪存层次结构上执行HDC编码和训练。为了隐藏培训的延迟并启用有效的计算，我们介绍了HDC中的批处理概念。它使我们能够将HDC培训分为子组件并独立处理。我们还首次提出了HDC的芯片加速度，该加速器使用简单的低功率数字电路来实现闪光平面中的HDC编码。这使我们能够探索Flash层次结构提供的高内部并行性，并与可忽略不计的延迟开销并行编码多个数据点。节俭还实现了单个顶级FPGA加速器，该加速器进一步处理了从芯片中获得的数据。我们利用最先进的内部人ISC基础架构来扩展顶级加速器，并为节俭提供软件支持。节俭的人完全在存储中进行HDC培训，同时几乎完全隐藏了计算的延迟。我们对五个流行分类数据集的评估表明，节俭平均比CPU服务器快1612×。4×比最先进的ISC解决方案快4×，用于HDC编码和培训的内幕。
人工智能超维（HD）数据启用...
• 位置 ID 编码 • 将 𝑥𝑥 量化为 𝑚𝑚 箱并编码为序列 • 保留 L1 距离直至附加失真 • 增加簇之间的距离：对噪声具有鲁棒性！ • 随机投影编码 • 将数据投影到 ℝ 𝑛𝑛 中的 𝑑𝑑 随机方向上并量化 • 保留欧几里得距离直至附加失真 • 编码是稀疏的 - 只有 𝑘𝑘≪𝑑𝑑 位才重要 HD 解码
内存超维计算
生物计算系统以准确性换取效率。因此，降低人工智能系统能耗的一种解决方案是采用本质上对不确定性具有鲁棒性的计算方法。超维计算 (HDC) 就是这样一个框架，它基于这样的观察：人类记忆、感知和认知的关键方面可以通过由高维二进制向量（称为超向量）组成的超维空间的数学特性来解释。超向量定义为具有独立且相同分布 (iid) 分量 1 的 d 维（其中 d ≥ 1,000）（伪）随机向量。当维数为数千时，存在大量准正交超向量。这允许 HDC 使用明确定义的向量空间运算将这些超向量组合成新的超向量，这些运算的定义使得生成的超向量是唯一的，并且具有相同的维数。可以在丰富的超向量代数上构建强大的计算系统 2 。超向量上的群、环和域成为底层计算结构，而排列、映射和逆则是原始计算操作。近年来，HDC 被广泛应用于机器学习、认知计算、机器人和传统计算等各个领域。它在涉及时间模式的机器学习应用中显示出巨大的潜力，例如文本分类 3 、生物医学信号处理 4、5 、多模态传感器融合 6 和分布式传感器 7、8 。HDC 的一个关键优势是训练算法只需一次或几次即可完成：也就是说，对象类别是从一个或几个示例中学习到的，并且只需对训练数据进行一次传递，而不是经过多次迭代。在突出的机器学习应用中，与支持向量机 (SVM) 4 、极端梯度提升 9 和卷积神经网络 (CNN) 10 相比，HDC 以更少的训练示例实现了相似或更高的准确率，与 SVM 11、CNN 和长短期记忆 5 相比，在嵌入式 CPU/GPU 上的执行能耗更低。HDC 在认知计算中的应用包括解决瑞文渐进矩阵 12 、蜜蜂概念学习的功能模仿 13 和类比
利用超维计算进行符号表示和学习
有人提出，机器学习技术可以从符号表示和推理系统中受益。我们描述了一种方法，其中可以通过使用超维向量和超维计算以自然而直接的方式将两者结合起来。通过使用哈希神经网络来生成图像的二进制向量表示，我们展示了如何构建超维向量，以便从其输出中自然产生向量符号推理。我们设计了超维推理层 (HIL) 来促进这一过程，并评估其与基线哈希网络相比的性能。除此之外，我们还表明，单独的网络输出可以直接在 HIL 中的向量符号级别融合，以提高整体模型的性能和稳健性。此外，据我们所知，这是第一次在真实数据上创建有意义的图像超维表示，同时仍保持超维性。