XiaoMi-AI文件搜索系统
World File Search System超维
OpenHD：基于 GPU 的超维计算框架
摘要 — 超维计算 (HDC) 已成为深度神经网络的替代轻量级学习解决方案。HDC 的一个关键特性是高度并行，可以促进硬件加速。然而，以前的 HDC 硬件实现很少关注 GPU 设计，这也导致效率低下，部分原因是在 GPU 上加速 HDC 的复杂性。在本文中，我们提出了 OpenHD，这是一个灵活且高性能的 GPU 驱动框架，用于自动将包括分类和聚类在内的一般 HDC 应用程序映射到 GPU。OpenHD 利用专门针对 HDC 的内存优化策略，最大限度地缩短对不同内存子系统的访问时间，并消除冗余操作。我们还提出了一种新颖的训练方法，以实现 HDC 训练中的数据并行性。我们的评估结果表明，所提出的训练方法可以快速达到目标准确率，将所需的训练周期减少了 4 × 。借助 OpenHD，用户无需领域专家知识即可部署 GPU 加速的 HDC 应用程序。与最先进的 GPU 驱动的 HDC 实现相比，我们在 NVIDIA Jetson TX2 上的评估表明，OpenHD 在基于 HDC 的分类和聚类方面分别快了 10.5 倍和 314 倍。与 GPU 上的非 HDC 分类和聚类相比，由 OpenHD 驱动的 HDC 在准确度相当的情况下快了 11.7 倍和 53 倍。
HDnn-PIM：具有特征提取的超维计算高效内存设计
摘要 受大脑启发的超维 (HD) 计算是一种新的机器学习方法，它利用简单且高度可并行化的操作。不幸的是，迄今为止已发布的 HD 计算算法都无法准确地对更复杂的图像数据集（例如 CIFAR100）进行分类。在这项工作中，我们提出了 HDnn-PIM，它通过使用内存处理实现复杂图像的特征提取和基于 HD 的分类。我们将 HDnn-PIM 与各种图像数据集的纯 HD 和 CNN 实现进行了比较。与纯 HD 计算相比，HDnn-PIM 的准确率提高了 52.4%。与最先进的 CNN 相比，它的准确率也提高了 1.2%，但内存占用减少了 3.63 倍，MAC 操作减少了 1.53 倍。此外，HDnn-PIM 比 RTX 3090 GPU 快 3.6 倍 –223 倍，比最先进的 FloatPIM 能效高 3.7 倍 [5]。
超维计算与神经网络
摘要 — 超维计算 (HDC) 作为一种新兴的非冯·诺依曼计算范式得到了广泛关注。受人脑功能方式的启发，HDC 利用高维模式执行学习任务。与神经网络相比，HDC 表现出节能和模型尺寸较小等优势，但在复杂应用中的学习能力却低于平均水平。最近，研究人员观察到，当与神经网络组件结合时，HDC 可以获得比传统 HDC 模型更好的性能。这促使我们探索 HDC 理论基础背后的更深层次见解，特别是与神经网络的联系和差异。在本文中，我们对 HDC 和神经网络进行了比较研究，以提供一个不同的角度，其中 HDC 可以从预先训练的极其紧凑的神经网络中衍生出来。实验结果表明，这种神经网络衍生的 HDC 模型可以分别比传统和基于学习的 HDC 模型实现高达 21% 和 5% 的准确率提高。本文旨在为这种流行的新兴学习方案的研究提供更多见解并指明未来方向。
超维计算的理论视角（扩展摘要）
超维 (HD) 计算是计算机体系结构和理论神经科学交叉领域的一个新兴领域 [Kanerva, 2009]。它基于这样的观察：大脑能够使用以下电路执行复杂任务：(1) 功耗低、(2) 精度要求低、(3) 对数据损坏具有高度鲁棒性。HD 计算旨在将类似的设计原则延续到新一代数字设备中，这些设备具有很高的能效、容错能力，非常适合自然信息处理 [Rahimi et al. , 2018]。最近关于神经网络的大量研究也从大脑中汲取了灵感，但这些方法的现代实例已经偏离了上述要求。这些网络的成功取决于神经上不合理的选择，最明显的是显著的深度和通过反向传播进行的训练。此外，从实际角度来看，训练这些模型通常需要高精度和大量的能量。虽然大量文献试图通过神经网络改善这些问题，但这些努力大多是为了解决特定的性能限制。相比之下，上述属性
使用组合通道编码和细胞自动机的超维计算实现高效的情绪识别
摘要 本文提出了一种基于高效受脑启发的超维计算 (HDC) 范式的硬件优化情绪识别方法。情绪识别为人机交互提供了宝贵的信息；然而，情绪识别涉及的大量输入通道 (> 200) 和模态 (> 3) 从内存角度来看非常昂贵。为了解决这个问题，提出了减少和优化内存的方法，包括一种利用编码过程的组合性质的新方法和一个基本的细胞自动机。与所提出的技术一起实施了具有早期传感器融合的 HDC，在多模态 AMIGOS 和 DEAP 数据集上实现了两类多模态分类准确率，效价 > 76%，唤醒 > 73%，几乎总是比最先进的技术更好。所需的矢量存储无缝减少了 98%，矢量请求的频率减少了至少 1/5。结果证明了高效超维计算在低功耗、多通道情绪识别任务中的潜力。关键词：脑启发、超维计算、情绪识别、可穿戴、内存优化、硬件高效、多模态传感器融合
超维计算的自适应模型位宽
摘要 — 受大脑启发的超维 (HD) 计算是一种模拟高维空间中神经元活动的新型计算范式。HD 计算的第一步是将每个数据点映射到高维空间（例如 10,000）。这带来了几个问题。例如，数据量可能会激增，所有后续操作都需要在 D = 10,000 维中并行执行。先前的工作通过模型量化缓解了这个问题。然后可以将 HV 存储在比原始数据更小的空间中，并且可以使用较低位宽的操作来节省能源。然而，先前的工作将所有样本量化为相同的位宽。我们提出了 AdaptBit-HD，一种用于加速 HD 计算的自适应模型位宽架构。当可以使用更少的位来找到正确的类时，AdaptBit-HD 一次一位地对量化模型的位进行操作以节省能源。借助 AdaptBit-HD，我们可以在必要时利用所有位来实现高精度，并在设计对输出有信心时终止较低位的执行，从而实现高能效。我们还为 AdaptBit-HD 设计了一个端到端 FPGA 加速器。与 16 位模型相比，AdaptBit-HD 的能效提高了 14 倍；与二进制模型相比，AdaptBit-HD 的精度提高了 1.1%，与 16 位模型的精度相当。这表明 AdaptBit-HD 能够实现全精度模型的精度，同时具有二进制模型的能效。
ODHD：用于异常值检测的一类脑启发式超维计算
异常值检测是一项经典且重要的技术，已用于医疗诊断和物联网等不同应用领域。最近，基于机器学习的异常值检测算法，例如一类支持向量机（OCSVM）、隔离森林和自动编码器，在异常值检测方面表现出色。在本文中，我们彻底摆脱这些经典学习方法，提出了一种基于超维计算（HDC）的异常值检测方法 ODHD。在 ODHD 中，异常值检测过程基于 PU 学习结构，其中我们基于正常样本训练一类 HV。此 HV 表示所有正常样本的抽象信息；因此，任何相应 HV 与此 HV 不同的（测试）样本都将被视为异常值。我们使用六个不同应用领域的数据集进行了广泛的评估，并使用三个指标（包括准确率、F1 分数和 ROC-AUC）将 ODHD 与 OCSVM、隔离森林和自动编码器等多种基线方法进行了比较。实验结果表明，对于每个指标，ODHD 在每个数据集上的表现都优于所有基线方法。此外，我们对 ODHD 进行了设计空间探索，以说明性能和效率之间的权衡。本文提出的有希望的结果为传统异常值检测学习算法提供了一种可行的选择和替代方案。
EnHDC：受大脑启发的超维计算的集成学习
摘要 — 集成学习是一种经典的学习方法，利用一组弱学习器组成一个强学习器，旨在提高模型的准确性。最近，受大脑启发的超维计算（HDC）成为一种新兴的计算范式，已在人类活动识别、语音识别和生物医学信号分类等各个领域取得成功。HDC 模仿大脑认知，利用具有完全分布式全息表示和（伪）随机性的高维向量（例如 10000 维）。本文首次尝试在 HDC 的背景下探索集成学习，并提出了第一个集成 HDC 模型，称为 EnHDC。EnHDC 使用基于多数投票的机制协同整合多个基础 HDC 分类器的预测结果。为了增强基分类器的多样性，我们改变了基分类器之间的编码机制、维度和数据宽度设置。通过将 EnHDC 应用于广泛的应用，结果表明，EnHDC 的准确率比单个 HDC 分类器平均提高 3.2%。此外，我们还表明，具有较低维度（例如 1000 维）的 EnHDC 可以实现与具有较高维度（例如 10000 维）的基线 HDC 相似甚至更高的准确率。这使得 HDC 模型的存储需求减少了 20%，这是在低功耗计算平台上实现 HDC 的关键。
GrapHD：基于图的超维记忆，用于类似大脑的认知学习
记忆是一项基本功能，它使当今的机器学习算法能够为每个预测提供高质量的学习和推理。记忆为算法提供了先验知识，以保持上下文并确定其决策的信心。不幸的是，现有的深度学习算法对记忆的概念很弱且不透明。大脑启发的超维计算 (HDC) 被引入作为人类记忆的模型。因此，它通过使用计算上可处理且在描述人类认知方面数学严谨的向量来模仿大脑记忆的几个重要功能。在本文中，我们介绍了一个大脑启发系统，该系统表示关系图上的 HDC 记忆能力。我们提出了 GrapHD，即表示高维空间中基于图的信息的超维记忆。GrapHD 定义了一种表示复杂图结构的编码方法，同时支持加权和非加权图。我们的编码器将所有节点和边的信息分散到完整的整体表示中，以便没有一个组件比另一个组件更负责存储任何信息。然后，GrapHD 在编码记忆图上定义了几个重要的认知功能。这些操作包括记忆重建、信息检索、图匹配和最短路径。我们的广泛评估表明，GrapHD：(1) 通过为学习算法提供短期/长期记忆的概念，显著提高了学习能力；(2) 支持基于记忆图的认知计算和推理；(3) 支持全息类脑计算，对噪声和故障具有很强的鲁棒性。
为有效的超维度计算的HyperVector设计
超维度计算（HDC）已成为具有较小的计算和能量需求的新型轻质学习算法。在HDC中，数据点由高维矢量（高向量）表示，这些矢量映射到高维空间（超空间）。典型地，需要大型的Hypervector维度（≥1000）才能获得与常规替代方案相当的精确度。但是，不一定的大型向量增加了硬件和能源成本，这可能会破坏其收益。本文提出了一种技术，可以最大程度地减少HyperVector维度，同时保持准确性并提高分类器的鲁棒性。为此，我们在文献中首次将HyperVector设计作为多目标优化问题。所采用的方法将HyperVector维度降低了32倍以上，同时维持或提高了常规HDC所达到的准确性。在商业硬件平台上进行的实验表明，所提出的方法可以减少模型大小，推理时间和能耗的数量级以上。我们还展示了噪声的准确性和鲁棒性之间的权衡，并提供帕累托前溶液作为我们HyperVector设计中的设计参数。