机构名称：
¥ 1.0
组合性是生物和人工神经网络的基本结构特征。通过梯度下降学习组合函数会产生众所周知的问题，例如梯度消失和梯度爆炸，因此仔细调整学习率对于实际应用至关重要。本文证明乘法权重更新满足针对组合函数定制的下降引理。基于此引理，我们推导出 Madam（Adam 优化器的乘法版本），并表明它可以在不调整学习率的情况下训练最先进的神经网络架构。我们进一步表明，通过在对数系统中表示权重，Madam 很容易适应训练原生压缩神经网络。最后，我们总结了乘法权重更新与生物学中关于突触的最新发现之间的联系。
通过乘法权重学习组合函数......
主要关键词
相关文件推荐
