Sigmoid 函数:从“e”到神经网络

我们一直使用这个方程。但它实际上是从哪里来的?《Sigmoid 函数:从“e”到神经网络》一文首先出现在《走向数据科学》上。

来源:走向数据科学

欢迎回来!

我们最近讨论了反向传播,我希望您现在了解什么是反向传播以及它实际上是如何工作的。

让我们继续深度学习之旅。

即使我们将反向传播算法应用于神经网络,我们仍然遇到一些问题,梯度消失就是其中之一。

当我学习梯度消失时,我遇到了 sigmoid 函数。

我们都知道它用于逻辑回归,其中我们将 sigmoid 函数应用于一个值以获得 0 到 1 之间的输出。

现在,在神经网络中,它可以用作激活函数。

我对 sigmoid 的了解是我们拥有的方程及其在逻辑回归和神经网络中的用法。

我很好奇我们是如何得到这个方程及其背后的故事的。

在这篇博客中,让我们看看如何得到 sigmoid 方程。

顺便说一句,如果您还没有阅读反向传播系列的第 3 部分,可以在这里阅读。

···

我们如何实际使用 Sigmoid?

我们已经知道了 sigmoid 函数的方程。

在继续之前,让我们看看如何在逻辑回归中使用它。

例如,我们想根据学生学习的小时数来预测他们是否通过。

我们在这里使用逻辑回归模型。

首先,它计算分数

假设学生的分数是:

这个分数不是概率。

只是参数的线性组合。

现在我们将其传递给 sigmoid 函数:

我们得到,

sigmoid 函数始终产生 0 到 1 之间的输出。

这里的输出约为 0.88 或 88%。

在逻辑回归中,这可以解释为学生通过考试的概率为 88%。

然后我们可以使用一个阈值,比如0.5,来进行最终的分类。

简而言之,流程可以像

这就是我们在逻辑回归中常用的 sigmoid 函数。

但是这个“e”是什么?

现在,让我们再次看一下 sigmoid 方程。

我们首先注意到的是 e。

我们知道它是一个数学常数,它的值为

在 x=1 处: