机构名称：
¥ 1.0
摘要 - 脑启发的高维（HD）计算是一种新的计算范式，可以模仿高维空间中神经元的活性。HD计算中的第一个步骤是将每个数据点映射到高维空间（例如10,000）中，该空间需要计算原始域中每个数据元素的数千个操作。单独编码大约需要培训执行时间的80％。在本文中，我们提出，REHD，用于HD Computing中的编码，培训和推断的整个重做，以实现更硬件友好的实现。REHD包括用于HD计算的完全二进制编码模块，用于能量良好和高智能分类。我们基于随机投影的编码模块可以在硬件中有效地实现可预测的内存访问模式。REHD是第一个基于HD的方法，它提供了与原始数据1：1比率的数据投影，并启用使用二进制HyperVector进行所有培训/推理计算。在优化后，重新添加了编码过程，重新培训和推断成为HD计算的能源密集型部分。为解决此问题，我们还提出了模型量化。模型量化引入了一种新型的方法，该方法是使用n位存储类高量向量的方法，其中n范围为1至32，而不是以完整的32位精度，从而可以在能量效率和准确性之间进行折衷的细节调整。为了进一步提高REHD效率，我们开发了一种在线尺寸缩小方法，可以消除训练期间无效的高度向量维度。
基于局部性的编码器和模型量化，用于有效的超维计算
主要关键词
相关文件推荐
