白板机器学习笔记 P36-P38核方法

视频地址：https://www.bilibili.com/video/BV1aE411o7qd?p=36
笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/pdv5ry

P36 核方法1 - 背景介绍
背景：当数据线性可分时，我们用感知机算法和硬间隔SVM等线性分类算法就可以简单的分类；当数据存在个别点不能线性可分时，我们可以引入软间隔或者惩罚项等；但是当数据完全非线性可分时，我们只能考虑：一是用深度学习这样的分层方法拟合非线性函数，二是将数据映射到高维空间从而变得线性可分。

核心思想：SVM最终定义式中w的计算依赖于一个内积的计算，当数据非线性可分时，我们要把内积中的两个元素分别映射到高维空间，再算两个高维空间元素的内积。但是这个映射关系很难定义，并且在高维的运算计算量也很大。我们最终想要知道的也只是该内积算出来的常数，映射到高维再算内积这两个操作其实只是中间过程，是不必要的。因此我们定义一个函数K，直接对低维的两个样本进行计算，结果就等于先映射到高维再求内积，这个K就是核函数。

核方法、核技巧、核函数
https://www.cnblogs.com/hichens/p/11874645.html

P37 核方法2 - 正定核函数定义
本节内容：主要讲了正定核函数的两种定义方法。第一个定义是从希尔伯特空间角度出发讲的；第二个定义更多的是说一种判定技巧，是证明正定核函数的充要条件，用Gram Matrix是半正定的来判断。

希尔伯特空间：本质是一个向量空间，然后在向量空间的基础上又添加了三个约束：①完备的。就是对极限是封闭的，求极限之后收敛于一个值，仍然属于该希尔伯特空间； ②可能是无限维的 ③被赋予内积的。也即希尔伯特空间的元素要满足三个性质：（1）对称性：= （2）正定性： >= 0，等号仅在f等于0时发生 （3）线性：1f₁+r₂f₂,g>=r₁1,g>+r₂2,g>。其实上述三个性质描述的就是内积运算的性质。

P38 核方法3 - 正定核 - 必要性证明
本节内容：从第二个定义角度出发，证明核函数是Gram Matrix半正定充要条件中的必要性。

证明方阵A半正定的两个方法：
①所有特征值大于等于0
②对于任意α∈Rⁿ，α^TAα>=0