机器学习中的支持向量机 (SVM) 是什么？

简介

简介

支持向量机 (SVM) 是一类基于统计学习理论的监督学习模型和相关训练算法。它们是由 Vladmir Vapnik 和他的同事在 90 年代在 AT&T 贝尔实验室发现的，被认为是机器学习中最强大和最流行的分类算法之一。

在本文中，我们将了解支持向量机的概念、数学和实现。大纲如下。我们将回顾线性分类器和最大边距和软边距分类的背景。然后，我们将概述支持向量机和核函数的概念。我们将回顾 SVM 背后的数学，然后介绍 Python Scikit-Learn 库中的实现方面。最后，我们将总结本文并将其与其他监督机器学习算法进行比较。

背景

背景

让我们考虑一个简单的一维二分类问题：仅根据贷款申请人的信用评分，为他们分配高风险或低风险风险类别。美国的信用评分通常在 300 – 850 之间，目标是根据阈值分配二进制标签。下图所示的训练示例由每个类别的几个示例组成。还说明了决策阈值的三种可能性。

最大边际分类器

不幸的是，最大边际方法有一个很大的缺点：它对异常值很敏感。考虑下面显示的情况，其中训练样本中有一个异常高风险数据点。

支持向量分类器

多维空间中的支持向量分类器：在 3D 情况下，较小的点位于第三轴（年龄）的更远处，因此代表训练集中年龄较大的申请人。

支持向量机 支持向量机

另请阅读：前 20 种机器学习算法解释

超平面和支持向量