随机辍学已成为人工神经网络(ANN)中的标准正则化技术,但是目前尚不清楚生物神经网络(Bionns)中是否存在类似机制。如果这样做,它的结构可能会通过数亿年的进化来优化,这可能表明大规模ANN中的新型辍学策略。我们建议大脑血清素能纤维符合一些预期的标准,因为它们的存在,随机结构和在整个人的寿命中成长的能力。由于血清素能纤维的轨迹可以建模为异常扩散过程的路径,因此,在这项概念验证研究中,我们研究了基于超级产生分数布朗尼运动(FBM)的辍学算法。这项研究有助于ANN中受生物启发的正则化。
随机 dropout 已成为人工神经网络 (ANN) 中的标准正则化技术,但目前尚不清楚生物神经网络 (BioNN) 中是否存在类似的机制。如果存在,其结构很可能经过数亿年的进化而得到优化,这可能表明大规模 ANN 中存在新的 dropout 策略。我们认为大脑血清素纤维 (轴突) 满足一些预期标准,因为它们无处不在、结构随机,并且能够在个体的整个生命周期中生长。由于血清素纤维的轨迹可以建模为异常扩散过程的路径,因此在这项概念验证研究中,我们研究了一种基于超扩散分数布朗运动 (FBM) 的 dropout 算法。结果表明,血清素纤维可能在脑组织中实现类似 dropout 的机制,从而支持神经可塑性。他们还提出,血清素纤维的结构和动力学的数学理论有助于设计 ANN 中的 dropout 算法。