机构名称：
¥ 1.0
摘要 — 从梯度下降中得出的在线突触可塑性规则在广泛的实际任务中实现了高精度。然而，它们的软件实现通常需要繁琐的手工梯度或使用梯度反向传播，这牺牲了规则的在线能力。在这项工作中，我们提出了一种自定义自动微分 (AD) 管道，用于稀疏和在线实现基于梯度的突触可塑性规则，该管道可推广到任意神经元模型。我们的工作结合了前向 AD 的反向传播类型方法的编程简易性，同时节省了内存。为了实现这一点，我们利用在线突触可塑性的优势计算和内存扩展，提供一种固有稀疏的 AD 实现，其中如果张量是对角的，则昂贵的张量收缩被简单的元素乘法取代。基于梯度的突触可塑性规则（如资格传播 (e-prop)）恰好具有这种特性，因此从这一特性中获益匪浅。我们在合成任务中展示了梯度反向传播与梯度对齐，其中 e-prop 梯度是精确的，以及音频语音分类基准。我们展示了内存利用率如何随网络规模而变化，而不依赖于序列长度，这与前向 AD 方法的预期一致。索引术语 — 算法、神经形态计算、资格传播、自动微分
梯度的真正稀疏和通用实现......
主要关键词
相关文件推荐
