Complexity of Linear Regression related to Neural Networks
Udacity 深度学习课程的作业 #1 让你了解到，逻辑多项式（线性）回归模型可能无法提供非 MNIST 数据集分类问题所需的最佳准确度。让我们将逻辑多项式模型视为一种算法，并尝试计算它的复杂度。这里要考虑的两个参数是 W - 权重矩阵和 b - 具有 1 层的偏差矩阵。想象一下，输入图像是 28x28 图像，输出是 10 类向量。输入图像将被拉伸为输入到每个单元的单个像素。这使得输入层尺寸为 28x28。参数 W 的尺寸变为 (28x28)x10，它被添加到 10x1 偏差矩阵中。参数总数为：28x28x10+10 = (N+1)*K，其中 N 是输入数，K 是输出数。另一种理解方式是 -
