Rectified Linear Unit (ReLU): Introduction and Uses in Machine Learning
为什么重要：修正线性激活函数或简称 ReLU 是一个分段线性函数，如果输入为正，则直接输出输入，否则输出零。
Non-linear Activation Functions for Neural Networks Simplified
激活函数是形成神经元输出的函数。它为预测添加了非线性，并使基于神经网络的预测器比线性模型好得多。我们通常会问自己应该使用哪种激活函数？答案是，这个问题没有一个万能的答案。这取决于具体情况。让我带您了解最常用的激活函数及其优缺点，以帮助您做出更好的决定。我们可以定义自己的激活函数以最好地满足我们的需求，最常用的激活函数是：1. S 型激活函数 2. Tan 双曲激活函数 3. ReLU（整流线性单元） 4. Leaky ReLU 它们每个的样子如下：图片来源：DeepLearning.ai 专业化 1. S 型激活函数 S 型激活函数的范围在 0 到 1 之间。它看起来像我们在不同研究领域中看到
