神经网络与逻辑回归具有相同的数学相同。但是,神经网络比逻辑回归更强大,而且确实可以证明一个最小的神经网络(从技术上讲,一个具有单个“隐藏层”)可以显示任何功能。神经网络分类器与逻辑回归不同。通过逻辑回归,我们通过基于域知识开发许多丰富类型的特征模板,将回归分类器应用于许多不同的任务。在使用神经网络时,更常见的是避免大多数使用丰富的手派生功能,而是构建以原始单词为输入的神经网络,并学会诱导功能作为学习分类的过程的一部分。我们在第6章中看到了嵌入的这种表示的示例。非常深的网属于代表学习。因此,深神经网是提供足够数据以自动学习功能的任务的正确工具。在本章中,我们将作为分类器介绍FeedForward网络,并将它们介绍为语言建模的简单任务:将概率分配给单词序列并预测即将到来的单词。在随后的章节中,我们将介绍神经模型的许多其他方面,例如复发性神经网络(第8章),变压器(第9章)和蒙版语言建模(第11章)。
主要关键词