笔记-RBF函数

参考：
SVM入门（七）为何需要核函数
svm常用核函数
机器学习—核函数

RBF函数

所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。可记作 k(||x-x_c||)。
最常用的径向基函数是高斯核函数 ,形式为 k(||x-x_c||)=exp{- ||x-x_c||² / (2*σ)²) } 其中x_c为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。由于这个函数类似于高斯分布，因此称为高斯核函数，也叫做径向基函数(Radial Basis Function 简称RBF)。它能够把原始特征映射到无穷维。

核函数

核函数的基本作用：在低维中计算高维数据的点积。
将低维数据映射到高维，希望在这个更高维的空间中，数据可以变得更容易分离或更好的结构化。核函数提供了一个从线性到非线性的连接以及任何可以只表示两个向量之间的点积的算法。

K( w, x )=< φ(w), φ(x) >

核函数的性质
1.连续；2.对称；3.最优选应该具有半正定Gram矩阵，以确保优化问题将是凸的和解决方案将是唯一的。
Mercer 定理 ：任何半正定的函数都可以作为核函数。所谓半正定的函数f(x_i,x_j)，是指拥有训练数据集合（x₁,x₂,…x_n)，我们定义一个矩阵的元素a_ij = f(x_i,x_j)，这个矩阵式n*n的，如果这个矩阵是半正定的，那么f(x_i,x_j)就称为半正定的函数。这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。
任何半正定的函数都可以作为核函数，即K(x,z)对应的Gram矩阵是半正定矩阵。
Gram矩阵：矩阵对应点的内积。K^TK, KK^T
半正定矩阵：设A是实对称矩阵，如果对任意的实非零列矩阵X有X^TAX≥0，就称A为半正定矩阵，半正定矩阵特征值非负。
当检验一个K是否为正定核函数，要对任意有限输入集{xi…}验证K对应的Gram矩阵实是否为半正定矩阵。

常用核函数

• 线性核函数
  κ(x,x_i)=x⋅x_i
  线性核，主要用于线性可分的情况，我们可以看到特征空间到输入空间的维度是一样的，其参数少速度快，对于线性可分数据，其分类效果很理想，因此我们通常首先尝试用线性核函数来做分类，看看效果如何，如果不行再换别的
• 多项式核函数
  κ(x,xi)=((x⋅xi)+1)d
  多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。
• RBF核函数
  κ(x,xi)=exp(−||x−xi||² / δ²)
  高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。
• sigmoid核函数
  κ(x,x_i)=tanh(ηi>+θ)
  采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。