支持向量机,英文名support vector machine,简称SVM,是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。

通过超平面方程来二分,如下图,±1 刚好经过分别处于两类最边缘的点,而 0 则正好处于经过最边缘点直线的中间线,而直线的斜率是基于尽可能的拉长最边缘点距离。

对一个数据点进行分类,当超平面离数据点的“间隔”越大,分类的确信度(confidence)也越大。为了使得分类的确信度尽量高,需要让所选择的超平面能够最大化这个“间隔”值。

函数间隔不适合用来最大化间隔值,因为在超平面固定以后,可以等比例缩放w的长度和b的值,这样可以使得的值任意大,亦即函数间隔可以在超平面保持不变的情况下被取得任意大
但几何间隔因为除上了,使得在缩放w和b的时候几何间隔 的值是不会改变的,它只随着超平面的变动而变动,因此,这是更加合适的一个间隔。换言之,这里要找的最大间隔分类超平面中的“间隔”指的是几何间隔

大部分时候数据并不是线性可分的,对于非线性的情况,SVM 的处理方法是选择一个核函数,将数据映射到高维空间,来解决在原始空间中线性不可分的问题。