机器学习随笔三—再生核Hilbert空间

我们做的非线性映射 ，它将原始特征空间中的数据点映射到另一个高维空间中，之前我们没有提过，其实这个高维空间在这里有一个华丽的名字——“再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS)”。“再生核”就是指的我们用于计算内积的核函数，再说“再生”之前，我们先来简单地介绍一下 Hilbert Space ，它其实是欧氏空间的一个推广。首先从基本的向量空间开始，空间中的点具有加法和数乘的操作，在这个向量空间上定义一个内积操作，于是空间将升级为内积空间。根据内积可以定义一个范数：

从而成为一个赋范向量空间。范数可以用于定义一个度量从而成为一个度量空间。如果这样的空间在这个度量下是完备的，那么这个空间叫做 Hilbert Space 。简单地来说，Hilbert Space 就是完备的内积空间。最简单的例子就是欧氏空间 ，这是一个Hilbert Space 。

我们这里的 RKHS 就是一个函数空间。实际上，在这里我们有一个很有用的性质，就是维度相同的 Hilbert Space 是互相同构的——也就是说空间的各种结构（包括内积、范数、度量和向量运算等）都可以在不同的空间之间转换的时候得到保持。有了这样的性质，就可以让我们不用去关心 RKHS 中的点到底是什么。

---

更明确的解释(知乎TimXP的解释)：

希尔伯特空间名字听上去似乎很难理解，但是真正弄明白其与线性空间之间的关系就会发现并没有那么难。我们一般接触的是线性空间（向量空间） ，首先看线性空间和各种空间之间的关系：

1.线性空间（向量空间）
线性空间又称作向量空间，关注的是向量的位置，对于一个线性空间，知道基（相当于三维空间中的坐标系）便可确定空间中元素的坐标（即位置）；线性空间只定义了加法和数乘运算。

如果我们想知道向量的长度怎么办？—-定义范数，引入赋范线性空间

2.赋范线性空间

定义了范数的线性空间！！

如果我们想知道向量的夹角怎么办？—-定义内积，引入内积空间

3.内积空间

定义了内积的线性空间！！

4.欧式空间

定义了内积的有限维实线性空间！！

如果我们想研究收敛性（极限）怎么办？—-定义完备

5.Banach空间

完备的赋范线性空间！！！

6.Hilbert空间

完备的内积空间！！！（极限运算中不能跑出度量的范围）

他们之间的关系可以用下图表示：

举个简单的类比例子：我们知道水果是个很大的类别，在水果的基础上加一个限定，如红色的水果，那么想到的可能有苹果、樱桃等，如果在苹果、樱桃两类水果上再加一个限定，例如果实较大，那么想到的便是苹果。 这里水果可以看成线性空间，红色的水果可以看成赋范线性空间，果实较大的红色水果可以看出内积空间。 Hilbert空间便是在线性空间的基础上加入了几个约束或者限定条件！