《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数

三、核函数

 1、核技巧 

  若不存在一个能正确划分两类样本的超平面, 怎么办 ?

  数学上可以证明,如果原始空间是有限维,即属性数有限,则一定存在一个高维特征空间使样本可分将样本从原始空间映射到一个更高维的特征空间 , 使样本在这个特征空间内线性可分。

  我们的数据集有时候是非线性可分的情况,如下图:

        《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第1张图片

   对于非线性的情况,SVM 的处理方式就是选择一个核函数。简而言之:在线性不可分的情况下,SVM 通过某种事先选择的非线性映射(核函数)将输入变量映到一个高维特征空间,将其变成在高维空间线性可分,在这个高维空间中构造最优分类超平面。如将本关上图数据集映射成如下情况:

            《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第2张图片

 2、核函数计算

      《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第3张图片

  这里涉及到两个样本在特征空间内的内积,由于特征空间的维数可能很高,甚至无穷维,直接计算通常是困难的,为了避开这个障碍,我们可以设想这样一个函数。

       《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第4张图片

  任意两个样本的核函数值构成的矩阵,任何一个核函数都隐式的定义了一个特征空间,当样本线性不可分时,我们需要将样本映射到高维空间内,但我们不知道哪个核函数合适,因此说核函数的选择成为决定支持向量机性能的关键。

        《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第5张图片

  基本经验:文本数据常用线性核,情况不明时可先尝试高斯核。

        《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第6张图片

           《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数_第7张图片

 

你可能感兴趣的:(《机器学习(周志华)》笔记--支持向量机(3)--核函数:核技巧、核函数计算过程、特殊映射函数)