如何规范化你的回归

制药应用中的一系列回归实例。我们能否从类似的特定领域数据中学习如何设置正则化参数 \(\lambda\)?概述。实际因变量 \(y\)和特征向量 \(X\)之间最简单的关系可能是线性模型 \(y = \beta X\)。给定一些由特征和因变量对 \((X_1,y_1),(X_2,y_2),\dots,(X_m,y_m)\)组成的训练示例或数据点,我们希望学习 \(\beta\),在给定未见过的示例的特征 \(X’\)的情况下,哪个会给出最佳预测 \(y’\)。将线性模型 \(\beta\)拟合到数据点的过程称为线性回归。这种简单而有效的模型在生物、行为和社会科学、环境研究和金融预测等领域有着广泛的应用,可以对未来数据做出可靠的预测。在 ML 术语中,线性回归是一种监督学习算法,方差小,泛化性能好。它比典型的深度学习模型对数据的依赖性要小得多,即使使用少量的训练数据也能表现良好。此外,为了避免模型对训练数据的过度拟合(这会降低对未知数据的预测性能),人们通常使用正则化,即修改线性模型的目标函数以减少 […]

来源:ΑΙhub

制药应用中的一系列回归实例。我们能否从类似的特定领域数据中学习如何设置正则化参数?

作者:Dravyansh Sharma

作者:Dravyansh Sharma Dravyansh Sharma

概述。真实因变量和特征向量之间最简单的关系可能是线性模型。给定一些由特征和因变量对组成的训练示例或数据点,我们想知道哪个可以在给定未见过的示例的特征的情况下给出最佳预测。将线性模型拟合到数据点的过程称为线性回归。这种简单而有效的模型具有普遍的应用,从生物、行为和社会科学到环境研究和财务预测,可以对未来数据做出可靠的预测。在 ML 术语中,线性回归是一种具有低方差和良好泛化特性的监督学习算法。它比典型的深度学习模型对数据的依赖程度要低得多,即使使用少量训练数据也能表现良好。此外,为了避免模型对训练数据的过度拟合(这会降低对未知数据的预测性能),人们通常使用正则化,即修改线性模型的目标函数以减少异常值和不相关特征的影响(请继续阅读以了解详细信息)。

概述 正则化

线性回归最常用的方法是“正则化最小二乘法”,其中可以找到最小化

长期悬而未决的问题

作为我们的主要结果,我们表明,如果数据具有特征(即特征向量的维度为 ,那么在查看数据集后,我们可以了解 的值,其误差(在域内平均)在域的最佳可能值范围内。我们还将结果扩展到顺序数据、二元分类(即二元值)和非线性回归。

问题设置 医学 线性因子模型 气候科学 弹性网络 岭回归 LASSO 1 2 35