SVM-5-核的有效性

参考 http://www.cnblogs.com/jerrylead

问题：给定一个函数 K，我们能否使用 K 来替代计算 ϕ(x)Tϕ(z) ，也就说，是否能够找出一个 ϕ ，使得对于所有的 x 和 z， 都有 K(x,z)=ϕ(x)Tϕ(z) ？
比如给出了 K(x,z)=(xTz)2 ，怎样判定 K 是一个有效的核函数?

给定m个样本 {x1,...,xm} ，假设 K 是一个 m×m 的矩阵，且矩阵中的每个元素都是一个核函数 Kij=K(xi,xj) 。矩阵 K 称为核矩阵。（这里核函数与核矩阵都用K来表示）

对于任意的有效的核函数 Kij=K(xi,xj)=ϕ(xi)Tϕ(xj)=ϕ(xj)Tϕ(xi)=K(xj,xi)=Kji 。可见，矩阵 K 应该是个对称阵。
下面我们使用符号 ϕk(x) 来表示映射函数 ϕ(x) 的第k个属性，对于任意的向量 z 我们可以证明：

zTKz=∑i∑jziKijzj=∑i∑jziϕ(xi)Tϕ(xj)zj=∑i∑jzi∑kϕk(xi)ϕk(xj)zj=∑k∑i∑jziϕk(xi)ϕk(xj)zj=∑k(∑iziϕk(xi))2≥0

因为 z 是任意的，因此核函数K必然是半正定的 （K≥0） 。进而，核矩阵K也是半正定的。
而且由 Mercer 定理，我们可以得到，上面的条件反过来也成立。也就是说：

K是有效的核函数⟺核函数矩阵K是对称半正定的

Mercer定理：如果函数K是Rn×Rn→R上的映射(也就是从两个n维向量映射到实数域）。那么如果K是一个有效核函数(也称为Mercer核函数)，那么当且仅当对于训练样例{x1,x2,…,xm}，其相应的核函数矩阵是对称半正定的。

Mercer 定理表明为了证明 K 是有效的核函数，那么我们不用去寻找 ϕ ，而只需要在训练集上求出各个 Kij ，然后判断矩阵 K 是否是半正定（ 使用左上角主子式大于等于零等方法）即可。

核函数不仅仅用在 SVM 上，但凡在一个模型后算法中出现了 <x,z> ，我们都可以用 K(x,z) 去替换，这可能能够很好地改善我们的算法。