机构名称：
¥ 1.0
深度学习已重新定义了人工神经网络的兴起，这是受到大脑神经元网络的启发。多年来，AI和神经科学之间的这些相互作用为这两个领域带来了巨大的好处，从而使神经网络可以在大量应用中使用。神经网络使用反向分化的有效实现，称为反向传播（BP）。然而，这种算法通常因其生物学上的不可使用性而受到批评（例如，缺乏众议员的本地更新规则）。因此，越来越多地研究了依靠预测性编码（PC）的生物学上合理的学习方法，即描述大脑中信息处理的框架。最近的著作证明，这些方法可以将BP近似于多层感知器（MLP）的一定余量，并在任何其他复杂模型上均非渐近，并且PC的变量零差异推理学习（Z-IL）能够准确地在MLP上实现BP。然而，最近的文字还表明，尚无生物学上合理的方法，可以准确地复制BP在Complex模型上的重量更新。为了填补这一空白，在本文中，我们通过在计算图上直接定义它来概括（PC和）Z-IL，并表明它可以执行精确的反向分化。什么结果是第一个PC（并且在生物学上是合理的）算法，它等同于BP在任何神经网络上更新参数，从而在神经科学和深度学习的构图研究之间提供了桥梁。此外，以上结果尤其是立即提供了BP的新型局部和平行实现。
通过预测编码逆转差异
主要关键词
相关文件推荐
