详细内容或原文请订阅后点击阅览
Sigmoid 函数:从“e”到神经网络
我们一直使用这个方程。但它实际上是从哪里来的?《Sigmoid 函数:从“e”到神经网络》一文首先出现在《走向数据科学》上。
来源:走向数据科学欢迎回来!
我们最近讨论了反向传播,我希望您现在了解什么是反向传播以及它实际上是如何工作的。
让我们继续深度学习之旅。
即使我们将反向传播算法应用于神经网络,我们仍然遇到一些问题,梯度消失就是其中之一。
当我学习梯度消失时,我遇到了 sigmoid 函数。
我们都知道它用于逻辑回归,其中我们将 sigmoid 函数应用于一个值以获得 0 到 1 之间的输出。
现在,在神经网络中,它可以用作激活函数。
我对 sigmoid 的了解是我们拥有的方程及其在逻辑回归和神经网络中的用法。
我很好奇我们是如何得到这个方程及其背后的故事的。
在这篇博客中,让我们看看如何得到 sigmoid 方程。
顺便说一句,如果您还没有阅读反向传播系列的第 3 部分,可以在这里阅读。
···
我们如何实际使用 Sigmoid?
我们已经知道了 sigmoid 函数的方程。
在继续之前,让我们看看如何在逻辑回归中使用它。
例如,我们想根据学生学习的小时数来预测他们是否通过。
我们在这里使用逻辑回归模型。
首先,它计算分数
假设学生的分数是:
这个分数不是概率。
只是参数的线性组合。
现在我们将其传递给 sigmoid 函数:
我们得到,
sigmoid 函数始终产生 0 到 1 之间的输出。
这里的输出约为 0.88 或 88%。
在逻辑回归中,这可以解释为学生通过考试的概率为 88%。
然后我们可以使用一个阈值,比如0.5,来进行最终的分类。
简而言之,流程可以像
这就是我们在逻辑回归中常用的 sigmoid 函数。
但是这个“e”是什么?
现在,让我们再次看一下 sigmoid 方程。
我们首先注意到的是 e。
我们知道它是一个数学常数,它的值为
在 x=1 处:
