详细内容或原文请订阅后点击阅览
与神经网络相关的线性回归的复杂性
Udacity 深度学习课程的作业 #1 让你了解到，逻辑多项式（线性）回归模型可能无法提供非 MNIST 数据集分类问题所需的最佳准确度。让我们将逻辑多项式模型视为一种算法，并尝试计算它的复杂度。这里要考虑的两个参数是 W - 权重矩阵和 b - 具有 1 层的偏差矩阵。想象一下，输入图像是 28x28 图像，输出是 10 类向量。输入图像将被拉伸为输入到每个单元的单个像素。这使得输入层尺寸为 28x28。参数 W 的尺寸变为 (28x28)x10，它被添加到 10x1 偏差矩阵中。参数总数为：28x28x10+10 = (N+1)*K，其中 N 是输入数，K 是输出数。另一种理解方式是 - 在具有 28x28 个节点的输入层和具有 10 个节点的输出层之间，对于完全连接的网络，您需要至少 28x28x10 个权重，在此基础上加上偏差，这会在上面的等式中添加额外的 10。争论始于探索逻辑回归模型的准确度，对于这个问题，该模型的准确度接近 90%。实际上，为了获得更高的准确度，我们需要更多的参数来概括和扩展模型，以更好地解决问题。这为进一步探索深度神经网络铺平了道路。敬请期待。
来源:Ankit-AI | 分享人工智能Udacity 深度学习课程的作业 #1 让您了解到，逻辑多项式（线性）回归模型可能无法为您提供非 MNIST 数据集分类问题所需的最佳准确度。
让我们将逻辑多项式模型视为一种算法，并尝试计算其复杂度。
这里要考虑的两个参数是 W - 权重矩阵和 b - 具有 1 层的偏差矩阵。
想象一下，输入图像是 28x28 图像，输出是 10 类向量。
输入图像将被拉伸为输入到每个单元的单个像素。 这使得输入层尺寸为 28x28。 参数 W 的尺寸变为 (28x28)x10，并添加到 10x1 偏差矩阵中。参数总数为：
28x28x10+10 = (N+1)*K
其中 N 是输入数，K 是输出数。
理解这一点的另一种方法是 - 在具有 28x28 个节点的输入层和具有 10 个节点的输出层之间，对于完全连接的网络，您需要至少 28x28x10 个权重，在此基础上加上偏差，这会在上述等式中添加额外的 10。
争论始于探索逻辑回归模型的准确率，该模型对于这个问题的准确率接近 90%。实际上，为了实现更高的准确率，我们需要更多的参数来概括和扩展模型，以便更好地解决问题。这为进一步探索深度神经网络铺平了道路。
请继续关注。