详细内容或原文请订阅后点击阅览
为什么你的贝塔值爆炸：多重共线性的隐藏几何
为什么你的回归系数不断变化，以及什么几何学与之有关。为什么你的贝塔值爆炸：多重共线性的隐藏几何学一文首先出现在《走向数据科学》上。
来源:走向数据科学高级总监的营销组合模型。幻灯片并排显示了两个贝塔系数：线性电视为+2.4，数字电视为+1.8。他满意地点点头。然后他问了我最害怕的问题。
“假设我们使用上周刷新的数据来运行此操作。相同的通道、相同的模型、相同的一切，但多了一周的观察。这些数字会发生变化吗？”
他们搬家了。很多。线性电视下滑至+0.9，数字电视跃升至+3.2。相同的频道。相同型号。数据略有不同。关于谁推动了销售以及推动了多少，故事截然不同。对于非技术利益相关者来说，这看起来像是一个损坏的模型。对于任何花时间研究营销分析的人来说，它看起来都非常熟悉。模型没有被破坏。它是病态的，病态的是某种特定的东西，有一个名字，背后有一个深刻的几何原因：多重共线性。
大多数数据科学课程和文章将多重共线性视为一个复选框：运行 VIF，删除某个功能，然后继续。但这种诊断并丢弃的方法隐藏了矩阵内部实际发生的情况。为什么系数会爆炸？为什么模型突然站在流沙上？
在这篇文章中，我们将深入探讨。我们将剥开线性代数的各个层面，将多重共线性视为一种几何崩溃，而不是统计上的麻烦。我们将使用线性电视与数字电视（现实世界的营销模型不断努力解开的两个频道）作为我们的运行示例，从 OLS 方程一直到行列式达到零并且一切都崩溃的那一刻。
第 1 部分：解决 beta 问题
在我们深入研究多重共线性的数学难题之前，让我们先从基础知识开始。线性回归归结为这个方程：
分解：y 是我们想要预测的，X 包含我们所有的输入特征，β 是我们想要找到的系数（基本上，每个特征贡献多少），ε 是误差，我们无法解释的部分。够简单的！