详细内容或原文请订阅后点击阅览
机器学习“降临日历”第 16 天：Excel 中的内核技巧
核 SVM 通常感觉很抽象，包含核、对偶公式和支持向量。在这篇文章中，我们走了一条不同的路。从核密度估计开始，我们逐步将核 SVM 构建为局部钟声的总和，通过铰链损失进行加权和选择，直到仅保留基本数据点。机器学习“降临日历”第 16 天：Excel 中的核技巧首先出现在《走向数据科学》上。
来源:走向数据科学关于 SVM 的文章，下一步自然是内核 SVM。
乍一看，它看起来像是一个完全不同的模型。训练以双重形式进行，我们不再谈论斜率和截距，突然间一切都与“内核”有关。
在今天的文章中，我将通过可视化“内核”一词的实际作用来具体化它。
有很多介绍 Kernel SVM 的好方法。如果您读过我之前的文章，您就会知道我喜欢从您已经知道的简单内容开始。
介绍核SVM的一个经典方式是这样的：SVM是一个线性模型。如果特征和目标之间的关系是非线性的，则直线将无法很好地分隔类别。所以我们创造了新的功能。多项式回归仍然是一个线性模型，我们只需添加多项式特征（x，x²，x³，...）。从这个角度来看，多项式核隐式地执行多项式回归，而RBF核可以看作是使用无限级数的多项式特征……
也许有一天我们会走这条路，但今天我们会走一条不同的路：我们从 KDE 开始。
是的，核密度估计。
让我们开始吧。
您可以使用此链接获取 Google 表格
1. KDE 作为个体密度的总和
我在关于LDA和QDA的文章中介绍了KDE，当时我说我们稍后会重用它。这就是现在。
我们在 KDE 中看到了 kernel 这个词，在 Kernel SVM 中也看到了它。这并非巧合，而是存在着真实的联系。
KDE 的思想很简单：
在每个数据点周围，我们放置一个小的分布（内核）。
然后，我们将所有这些个体密度加在一起以获得全局分布。
记住这个想法。这将是理解核SVM的关键。
我们还可以调整一个参数来控制全局密度的平滑程度，从非常局部到非常平滑，如下面的 GIF 所示。
如您所知，KDE 是基于距离或密度的模型，因此在这里，我们将在来自两个不同系列的两个模型之间创建链接。
如果一个点是：