摘要:我们提出了一种受生物大脑中调节神经递质机制启发的迁移学习方法,并探索神经形态硬件的应用。在该方法中,人工神经网络的预训练权重保持不变,并通过补充偏差输入操纵每个神经元的触发灵敏度来学习新的类似任务。我们将其称为神经调节调谐 (NT)。我们通过经验证明,神经调节调谐在前馈深度学习和脉冲神经网络架构中的图像识别领域产生的结果与传统微调 (TFT) 方法相当。在我们的测试中,与传统微调方法相比,NT 将要训练的参数数量减少了四个数量级。我们进一步证明,神经调节调谐可以在模拟硬件中实现为具有可变电源电压的电流源。我们的模拟神经元设计实现了泄漏积分和触发模型,其中三个双向二进制缩放电流源组成了突触。通过与每个突触相关的可调功率域应用近似于调节神经递质机制的信号。我们使用高精度仿真工具验证了电路设计的可行性,并提出了一种使用集成模拟电路高效实现神经调节的方法,该电路的功耗比数字硬件(GPU/CPU)低得多。
主要关键词