机器学习笔记——支持向量机（2）——处理非线性问题

引言

由上一章内容我们可以了解到，针对线性模型问题，svm提供了最优解，换句话说，当数据集满足线性可分时，满足使用最优解的条件。那么针对非线性可以分的数据集，应采用怎样的处理方法？本一节将针对非线性数据集进行探讨与学习。

先写出非线性问题的最小化与限制条件：

最小化

其中第二项整体称为正则项（Regulation Term），目的是让整个目标函数规范化。而εi称为松弛变量（Slack Variable）

两个限制条件

在线性条件下，我们找出一个ω和b，使得限制条件被满足。但是在非线性条件下，我们不能找到ω和b满足这个条件，于是这是，我们在限制条件后面加入一个 -ε，使其满足这个限制条件。（这里的i=1~N，也就是有N个限制条件）

但同时，我们必须限制ε，不能使其过于大，当期过于大时，整体的优化问题过于发散。因此我们使用事先设定的参数c，来限制ε求和的大小，平衡第一项ω与第二项ε的权重。

但是我们同时要认识到这个方法的缺陷。当数据集呈下图所示时，很明显一条直线无法将两种样本分开

我们很清晰地看到，此时在这个二维平面上，如果我们想要将两种样本分开，只能使用圆而非直线来分割。那么，此时直线便被舍弃了吗？

答案是否定的

这便是svm相较于其他算法独特的一面。我们依旧寻找直线，但是是在一个更高的维度中寻找。

高维映射ψ(x)

x（低维）——通过ψ映射—— ψ(x)（高维）

在一式中，ω始终与x维度相匹配， 当x维度升高时，ω也会升高至同样维度。

通过这个思路，我们可以扩展：我们在一个特征空间中随机选一些点，随机将所选的点表上x和o，此时我们在越高维度的空间中操作，则其x和o点被直线分开的概率越大，可以认为当所处操作维度无限大时，其直线分开概率将为1

高维映射的关键在于，如何选取ψ

ψ(x)是无限维

svm中使用有限维的手段去解决这个无限维的问题：
我们可以不知道无限维映射ψ(x)的显示表达式，只要知道一个核函数（Kernel Function）

则限制条件①的优化式仍然可解。

这里的ψ(x1)和ψ(x2)相乘后的内积（一个常数），即为核函数K的值。

核函数

一.高斯核

这里核函数K很明显可以拆分成为ψ(x1)和ψ(x2)两个无限维函数的内积，但我们只需了解K，无需了解ψ(x）

二.多项式核

d为多项式的阶数
这里拆分的ψ(x)是有限的。

————————————————————————————————

那么此时我们知道了K，要如何利用这个条件去解与ψ(x)有关的优化问题？

需要知道，K必须满足条件才能拆成两个函数的内积。

K(x1,x2)能拆分的充要条件（Mercer’s Theorem）

1.K(x1,x2)=K(x2,x1) 交换性

2. ∀Ci,Xi ( i=1~N) , 有

称为半正定性

（本文部分公式图片来源于某乎@是泽哥啊 ，如需转载请联系作者）

欢迎交流学习，感谢您的阅读