WTF 是一个参数?!?

揭秘机器学习中参数的概念:它们是什么、模型有多少参数以及学习它们时可能会出现什么问题。

来源:KDnuggets

简介

机器学习系统本质上由模型组成,例如决策树、线性回归器或神经网络等,这些模型经过一组数据示例的训练,以学习一系列模式或关系,例如,根据公寓的属性来预测阳光明媚的塞维利亚(西班牙)的公寓价格。但机器学习模型在其训练任务上的质量或性能很大程度上取决于其自身的“外观”或“形状”。即使是同一类型的两个模型(例如两个线性回归模型),其性能也可能截然不同,具体取决于一个关键方面:它们的参数。

本文揭开了机器学习模型中参数概念的神秘面纱,并概述了它们是什么、模型有多少个参数(剧透警告:这取决于情况!),以及在训练期间设置模型参数时可能会出现什么问题。让我们探索一下这些核心组件。

揭秘机器学习模型中的参数

参数就像机器学习模型的内部刻度盘和旋钮:它们定义模型的行为。就像咖啡师的咖啡机可能会根据其研磨的咖啡豆的质量来冲泡一杯质量不同的咖啡一样,机器学习模型的参数也会根据用于学习执行任务的训练数据示例的性质(并且在很大程度上是质量)而设置不同的参数。

参数就像机器学习模型的内部刻度盘和旋钮 - 它们定义模型的“个性”或“行为”,即它关注数据的哪些方面以及程度。

现在我们对机器学习模型参数有了更好的了解,出现的几个问题是:

  • 参数是什么样的?
  • 机器学习模型中有多少个参数?
  • 更一般地,用数学术语来说,简单模型(如多元线性回归模型)中的参数在等式中用 \( \theta_i \) 表示,如下所示:

    \[