Softmax 函数及其在神经网络中的作用

什么是 Softmax 函数？

什么是 Softmax 函数？

在本文中，我们将回顾 Softmax 函数及其在神经网络中的作用。它通常用于多类分类神经网络的输出层，以预测给定输入的类标签。

本文的提纲如下。我们首先阐述神经网络中对 softmax 函数的需求。然后，我们回顾一些替代方案，如线性和 Sigmoid 函数以及向量归一化，以及为什么它们不能达到预期目的。然后，我们详细介绍 Softmax 函数并概述其一些属性。最后，我们将其与多类分类的最初目标联系起来。

动机：为什么我们需要 Softmax 函数

动机：为什么我们需要 Softmax 函数

多类分类问题需要在 2 个以上可能的类别中为给定输入分配一个类别标签（称为二元分类）。机器学习模型通过估计每个类别成为输入正确标签的概率来实现这一点。然后选择概率最高的标签作为预测。因此，深度学习神经网络还必须输出每个类别标签的概率。

多类分类问题

神经网络中需要专用的输出层，因为通常情况下，训练过程会导致倒数第二层产生任意尺度的实值原始输出。它们不能保证是概率，因此不适合进行预测。

与任何层一样，输出层也由节点组成。标准方法是为每个类别设置一个节点。因此，如果有 k 个潜在类别，则分类神经网络的输出层也将有 k 个节点。

k k

每个节点必须输出一个介于 0 和 1 之间的概率，然后可以将其解释为输入属于相应类别的概率。

c s1, s2 s3 i