【SVM】为什么RBF核可以将向量映射到无穷维

本篇文章整理自知乎:SVM中,高斯核为什么会把原始维度映射到无穷多维?

      在svm中,我们试图在一个更高维的空间中找到一个超平面将数据线性可分,但是在寻找高维空间的时候可能存在维度爆炸。于是我们想到了核函数,一种在低维空间中代替高维空间中做内积运算的一个函数 k(x_{i},x_{j}) ,使得 k(x_{i},x_{j})=\Phi (x_{i})\Phi (x_{j})

       对于rbf核,其表达式为:

 针对最后一项,根据泰勒展开式:

【SVM】为什么RBF核可以将向量映射到无穷维_第1张图片

展开得:

【SVM】为什么RBF核可以将向量映射到无穷维_第2张图片

则可以看出映射函数为:

【SVM】为什么RBF核可以将向量映射到无穷维_第3张图片

 

另一个比较直观的推导

【SVM】为什么RBF核可以将向量映射到无穷维_第4张图片

       其中的\gamma = 1/2\sigma ^{2},可以看出\Phi (x)将x映射到了无穷维,而且\gamma越大(即\sigma越小)高维向量的值越大。如何找到合适的空间尽可能大的分离数据,且在测试集上有较好的表现,就需要我们去进行调参(\sigma和其他的SVM参数,例如正则化参数C)

你可能感兴趣的:(机器学习)