机构名称：
¥ 2.0
摘要。人工神经网络的神经元最初是在人们对生物神经元的了解远不如今天时发明的。我们的工作探索了对核心神经元单元的修改，使其与生物神经元更加平行。修改是基于这样的认识：生物树突不仅仅是被动激活漏斗，而且在将激活传递到细胞体时还会计算复杂的非线性函数。本文探讨了一种新颖的“穿孔”反向传播系统，该系统使深度神经网络的人工神经元能够更好地编码它们在原始架构中编码的相同特征。在初始网络训练阶段之后，将额外的“树突节点”添加到网络中，并分别进行训练，目标是：将它们的输出与原始神经元的剩余误差相关联。然后冻结训练后的树突节点，并进一步训练原始神经元，现在要考虑树突节点提供的额外误差信号。训练原始神经元然后添加和训练树突节点的循环可以重复多次，直到达到令人满意的性能。我们的算法已成功添加到跨多个领域的现代最先进的 PyTorch 网络中，提高了原始精度，并允许在不损失精度的情况下显着压缩模型。关键词：人工神经网络、深度学习、语音处理、药物发现、股票预测、机器学习、树突状积分、级联相关、人工神经发生
穿孔反向传播
主要关键词
相关文件推荐
