支持向量机——核技巧

前言：《统计学习方法》讲支持向量机——核技巧的时候，开始的实例有点误导人。我在翻阅了国外的文章后，有了一个大概的了解。来吧，让我们开始

图一的点在二维空间线性不可分，在三维空间线性可分

解决类似的问题，我们需要将数据升维。那么多出来的维度用什么表示呢？原来维度的数值还是现在维度的数值吗？

具体解释一下，图一的点是由 表示。图二的点是用 表示。那么多出来的 是什么呢？现在的 还是原来的 吗？

引入映射函数

假设有这么一个函数 将 映射到。这就是映射函数的本质，能将当前维度的数据转换数据或者映射到更高维度。

书中给出的第一个实例，让我总以为映射函数，仅仅只是变换形式。其实他的作用更应该是升维。有点误导人

映射函数的应用

现在我们要开始升维了！

回到我们支持向量机——拉格朗日乘子法这一篇文章的最重要的结论。

还是用上述的映射函数，升维以后

为了方便，之后的式子仅仅表示。注意这是内积。

引入核函数

引入核函数的本质

存在一些核函数，在不知道映射函数的情况下，能得到和使用映射函数一样的结果。而且使用核函数，能使计算更加简单，有效。

举个例子

假设核函数为

假设原始数据为

带入得到

与上述映射函数得到的结果相同。

所以存在一些核函数，在不知道映射函数的情况下，能得到和使用映射函数一样的结果。而且使用核函数，能使计算更加简单，有效。

最后我们得到

参考

• 《统计学习方法》
• What is the kernel trick?