该规则称为LMS UPDATE规则(LMS代表“最小平方”),也称为Widrow-Ho ho thembil规则。该规则具有几种看起来自然而直观的属性。例如,更新的大小与误差项成正比(y(i)-hθ(x(i)));因此,对于说明,如果我们遇到一个训练示例,我们的预测几乎与y(i)的实际值相匹配,那么我们发现几乎不需要更改参数。相反,如果我们的预测Hθ(x(i))具有较大的误差(即,如果它离y(i)很远,则将对参数进行更大的更改。我们在只有一个训练示例时得出了LMS规则。有两种方法可以修改此方法为多个示例的训练集。第一个是用以下算法替换它: