非线性支持向量的核函数，核技巧与正定核判定

https://cuijiahua.com/blog/2017/11/ml_9_svm_2.html

---

SVM通过某种事先选择的非线性映射（核函数）将输入变量映到一个高维特征空间，将其变成在高维空间线性可分，在这个高维空间中构造最优分类超平面。

image.png

将原空间的非线性空间（）投影到（,）

x->z 变换的公式：

边界函数：

---

可能上面那个例子看不出来是低纬到高纬的映射，那我们再举个例子：

红点集代表，蓝点集代表

image.png

将映射为

image.png

可见红色和蓝色的点被映射到了不同的平面，在更高维空间中是线性可分的（用一个平面去分割）

---

再举个例子：

这个新的坐标,,,,的方程，就是一个超平面方程，它的维度是5

image.png

---

核函数的定义：

• 核函数：，乘是的向量内积，即

在实际中，对一个非线性可分数据，我们不是先去定义转换函数数，再找出其对应的核函数K，而是直接用一些常用核函数代入非线性可分支持向量机，然后查看分类效果，再调整核函数的类型，这样就隐式地实现了低维到高维的映射，而不用显式地定义映射函数和特征空间，这种方法叫核技巧。

• 在SVM中的具体应用：

目标函数：

分类决策函数：

---

怎么证明一个给定函数是核函数？

• 核函数是对称函数。
  对任意属于样本集X中的, 核函数对应的Gram矩阵是半正定矩阵 。
• Gram矩阵定义为： ，其实就是把不同样本点放到核函数中去计算，因此G的shape和样本数量m相关，为mm。

---

补充：

• 半正定：若任意不为0的实列向量X，都有
• 正定：若，对任意，有
• Gram矩阵：

证明：

对任意，有
说明Gram矩阵是正定的。

---

常用核函数：

1. 多项式核函数：（图像处理用的多）
   
   分类决策函数：

可调参数是斜率α，常数项b和多项式度p

2. 高斯核函数：
   
   分类决策函数：

可调参数sigma在内核的性能中起着主要作用，并且应该仔细地调整到手头的问题。 如果过高估计，指数将几乎呈线性，高维投影将开始失去其非线性功率。 另一方面，如果低估，该函数将缺乏正则化，并且决策边界将对训练数据中的噪声高度敏感。

3. 字符串核函数：
   核函数可以定义在欧氏空间也可以在离散空间上，。。。