详细内容或原文请订阅后点击阅览
整流线性单元 (ReLU)：机器学习中的介绍和用途
为什么重要：修正线性激活函数或简称 ReLU 是一个分段线性函数，如果输入为正，则直接输出输入，否则输出零。
来源:人工智能+简介：
简介：毫无疑问，激活函数在神经网络和深度学习中起到激活隐藏节点、产生更高质量输出的重要作用。激活函数的目的是将非线性特性引入模型，以达到预期目的。
人工神经网络的激活函数在给定一个或一组输入的情况下确定节点的输出。集成电路可以看作是激活函数的数字网络，可以根据输入打开或关闭激活函数。
什么是 ReLU
什么是 ReLU修正线性激活函数（简称 ReLU）是一种分段线性函数，如果输入为正，则直接输出，否则输出零。它已成为许多类型神经网络的默认激活函数，因为使用它的模型更容易训练并且通常能获得更好的性能。 ReLU 的其他变体包括 Leaky ReLU、ELU、SiLU 等，它们在某些任务中用于获得更好的性能。
整流线性激活函数（简称 ReLU）是一个分段线性函数，如果输入为正，则直接输出输入，否则输出零。它已成为许多类型神经网络的默认激活函数，因为使用它的模型更容易训练并且通常可以获得更好的性能。ReLU 的其他变体包括 Leaky ReLU、ELU、SiLU 等，它们在某些任务中用于获得更好的性能。曾经有一段时间，sigmoid 和 tanh 是单调、可微分且更受欢迎的激活函数。然而，随着时间的推移，这些函数会饱和，结果，随着时间的推移，消失梯度变得越来越成问题。为了解决这个问题，整流线性单元 (ReLU) 是最流行的激活函数，可用于解决问题。
f(x) = max{0, z}
else: