ML—核技巧

华电北风吹
天津大学认知计算与应用重点实验室
日期：2015/11/13

什么是核?
xi,xj∈RN ，模型中遇到的关于 xi,xj 的计算全部是 <xi,xj> ，若在N维中得不到想要的效果，就可以利用核函数，将原本是N维的内积运算映射到高维空间，甚至是无限维。
K(xi,xj)=<ϕ(xi),ϕ(xj)>(0)

一、线性核函数
线性核函数计算公式为
K(xi,xj)=xTixj(1-1)
可以看出，线性核函数就是原始的内积运算，并没有提升到高维空间。

二、多项式核函数
多项式核函数计算公式为
K(xi,xj)=(γ×xTixj+c)d(2-1)
可以看一个简单的多项式核函数例子：
K(xi,xj)=(xTixj+c)2
=∑Np,q=1(xpixqi)(xpjxqj)+∑Np=1(2c−−√xi)(2c−−√xj)+c2
若N=3，可以得到(维度为10)
ϕ(xi)=[x(1)ix(1)i,x(1)ix(2)i,x(1)ix(3)i,x(2)ix(1)i,x(2)ix(2)i,x(2)ix(3)i,x(3)ix(1)i,x(3)ix(2)i,x(3)ix(3)i,2c−−√x1,2c−−√x2,2c−−√x3,c]T
可以验证，映射后高维空间的维数是 CdN+d 。

三、径向基核函数(Radial Basis Function)
径向基核函数利用公式(3-1)对N维向量 xi,xj 的内积扩展到无限维向量 ϕ(xi),ϕ(xj) 的内积。
K(xi,xj)=e−γ||xi−xj||2(3-1)
其中
ϕ(x)=e−γx2[1,(2γ)1!−−−√x,(2γ)22!−−−−√x2,(2γ)33!−−−−√x3,...,(2γ)kk!−−−−√xk,...]T(3-2)
下面对此公式进行简要推导解释：
e−γ||xi−xj||2
=e−γx2i+2γxTixj−γx2j
=e−γx2i−γx2j×e2γxTixj
=e−γx2i−γx2j×(1+2γxTixj+(2γxTixj)22!+(2γxTixj)33!+...+(2γxTixj)kk!+...)
=e−γx2i−γx2j×(1+2γ−−√xTi2γ−−√xj+(2γ)22!−−−−√(xTi)2(2γ)22!−−−−√x2j+(2γ)33!−−−−√(xTi)3(2γ)33!−−−−√x3j+...+(2γ)kk!−−−−√(xTi)k(2γ)kk!−−−−√xkj+...)
=e−γx2i×[1+2γ−−√xTi+(2γ)22!−−−−√(xTi)2+(2γ)33!−−−−√(xTi)3+...+(2γ)kk!−−−−√(xTi)k+...]
∗e−γx2j×[1+2γ−−√xj+(2γ)22!−−−−√x2j+(2γ)33!−−−−√x3j+...+(2γ)kk!−−−−√xkj+...]
=ϕ(xi)Tϕ(xj)