简化神经网络的非线性激活函数

激活函数是神经元输出的形成函数。这为你的预测添加了非线性，并使基于神经网络的预测器比线性模型好得多。

我们通常会问自己的问题是我应该使用哪种激活函数？

答案是，这个问题没有一个万能的答案。这取决于具体情况。

让我带你了解最常用的激活函数及其优缺点，以帮助你做出更好的决定。

我们可以定义自己的激活函数以最好地满足我们的需求，最常用的激活函数是：

1. Sigmoid 激活

2. Tan 双曲激活

3. ReLU（整流线性单元）

4. Leaky ReLU

它们每个的样子是这样的：

图片来源：DeepLearning.ai 专业化

1. Sigmoid 激活

Sigmoid 激活的范围在 0 到 1 之间。它看起来像我们在不同研究领域中看到的常见“S 形”曲线。

优点：

优点：

简单 - 逻辑和算术方面

提供良好的非线性

自然概率输出 - 对于分类问题，介于 0 和 1 之间。

缺点：

缺点：

当您将值射向 S 形的极端时，网络会停止学习 - 这称为梯度消失问题。

2. 棕褐色双曲函数

这几乎是一个扩展范围（-1 到 1）的 S 形函数。

优点：

优点：

这会增加 S 形中间的稳定非线性范围，然后斜率/梯度才会变平。这种增加的范围有助于网络更快地学习。

缺点：

缺点：

这种激活确实将 S 形尾端梯度消失的问题限制在一定程度，但我们有更好的选择来更快地学习。

3. ReLU

整流 - MAX(0,value)

线性 - 对于 z >0（正值）

ReLU 是仅正线性函数的别称。 对于负预测，单位的斜率为 0。 但是，对于正激活，网络肯定可以通过线性斜率更快地学习。

优点：学习更快。

优点：

只要 z 为正，斜率就是 1。

缺点：

缺点：

尚未发现任何缺点 :)

4. Leaky ReLU

下次见！