机构名称：
¥ 1.0
反向传播被认为是训练人工神经网络最有利的算法。然而，由于其学习机制与人脑相矛盾，反向传播因其生物学上的不合理性而受到批评。尽管反向传播在各种机器学习应用中取得了超人的表现，但它在特定任务中的表现往往有限。我们将此类任务统称为机器挑战任务 (MCT)，旨在研究增强 MCT 机器学习的方法。具体来说，我们从一个自然的问题开始：模仿人脑的学习机制能否提高 MCT 的性能？我们假设，复制人脑的学习机制对于机器智能难以完成的任务是有效的。使用预测编码（一种比反向传播更具生物学合理性的学习算法）进行了多个对应于特定类型的 MCT 的实验，其中机器智能有提高性能的空间。本研究将增量学习、长尾和小样本识别视为代表性的 MCT。通过大量实验，我们检验了预测编码的有效性，它对 MCT 的表现远优于反向传播训练的网络。我们证明了基于预测编码的增量学习可以减轻灾难性遗忘的影响。接下来，基于预测编码的学习可以减轻长尾识别中的分类偏差。最后，我们验证了用预测编码训练的网络可以用少量样本正确预测相应的目标。我们通过将预测编码网络的特性与人脑的特性进行比较并讨论预测编码网络在一般机器学习中的潜力来分析实验结果。
受大脑启发的预测编码提高了机器挑战性任务的性能
主要关键词
相关文件推荐
