机构名称：
¥ 1.0
一、问题和动机物联网 (IoT) 促进了许多利用基于边缘的机器学习 (ML) 方法来分析本地收集的数据的应用。不幸的是，流行的 ML 算法通常需要超出当今物联网设备能力的密集计算。受大脑启发的超维计算 (HDC) 已被引入以解决这个问题。然而，现有的 HDC 使用静态编码器，需要极高的维数和数百次训练迭代才能达到合理的准确度。这导致了巨大的效率损失，严重阻碍了 HDC 在物联网系统中的应用。我们观察到一个主要原因是现有 HDC 的编码模块缺乏利用和适应训练期间学习到的信息的能力。相比之下，如图 1(a) 所示，人类大脑中的神经元一直在动态再生，并在学习新信息时提供更有用的功能 [1]。虽然 HDC 的目标是利用随机生成的基础超向量的高维性来将信息表示为神经活动的模式，但现有的 HDC 仍然很难支持与大脑神经再生类似的行为。在这项工作中，我们提出了动态 HDC 学习框架，可以识别和再生不需要的维度，以在显著降低维数的情况下提供足够的准确性，从而加速训练和推理。 II. 背景和相关工作 A. 物联网和基于边缘的学习 许多新颖的框架和库已经开发出来，以在资源受限的计算平台上定制流行的 ML 算法，包括 TinyML [2]、TensorFlow Lite [3]、edge-ml [4]、X-Cube-AI [5] 等。然而，这些学习方法通常需要大量的训练样本和多个训练周期，超出了当今物联网设备的能力。同时，利用目标平台的学习结构和特性，研究人员提出了许多提高基于边缘的学习效率的技术，例如分割计算 [6]、联邦学习 [7]、[8]、知识蒸馏 [9]。这些技术与我们的方法正交，可以与我们的方法集成，以进一步提高学习性能。
具有类脑神经适应能力的稳健且可扩展的超维计算
主要关键词
相关文件推荐
