机器学习随笔三—再生核Hilbert空间

我们做的非线性映射 ,它将原始特征空间中的数据点映射到另一个高维空间中,之前我们没有提过,其实这个高维空间在这里有一个华丽的名字——“再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS)”。“再生核”就是指的我们用于计算内积的核函数,再说“再生”之前,我们先来简单地介绍一下 Hilbert Space ,它其实是欧氏空间的一个推广。首先从基本的向量空间开始,空间中的点具有加法和数乘的操作,在这个向量空间上定义一个内积操作,于是空间将升级为内积空间。根据内积可以定义一个范数:

从而成为一个赋范向量空间。范数可以用于定义一个度量从而成为一个度量空间。如果这样的空间在这个度量下是完备的,那么这个空间叫做 Hilbert Space 。简单地来说,Hilbert Space 就是完备的内积空间。最简单的例子就是欧氏空间 ,这是一个Hilbert Space 。

我们这里的 RKHS 就是一个函数空间。实际上,在这里我们有一个很有用的性质,就是维度相同的 Hilbert Space 是互相同构的——也就是说空间的各种结构(包括内积、范数、度量和向量运算等)都可以在不同的空间之间转换的时候得到保持。有了这样的性质,就可以让我们不用去关心 RKHS 中的点到底是什么。


更明确的解释(知乎TimXP的解释):

希尔伯特空间名字听上去似乎很难理解,但是真正弄明白其与线性空间之间的关系就会发现并没有那么难。我们一般接触的是线性空间(向量空间) ,首先看线性空间和各种空间之间的关系:

1.线性空间(向量空间)
线性空间又称作向量空间,关注的是向量的位置,对于一个线性空间,知道基(相当于三维空间中的坐标系)便可确定空间中元素的坐标(即位置);线性空间只定义了加法和数乘运算。

如果我们想知道向量的长度怎么办?—-定义范数,引入赋范线性空间

2.赋范线性空间

定义了范数的线性空间!!

如果我们想知道向量的夹角怎么办?—-定义内积,引入内积空间

3.内积空间

定义了内积的线性空间!!

4.欧式空间

定义了内积的有限维实线性空间!!

如果我们想研究收敛性(极限)怎么办?—-定义完备

5.Banach空间

完备的赋范线性空间!!!

6.Hilbert空间

完备的内积空间!!!(极限运算中不能跑出度量的范围)

他们之间的关系可以用下图表示:
机器学习随笔三—再生核Hilbert空间_第1张图片

举个简单的类比例子:我们知道水果是个很大的类别,在水果的基础上加一个限定,如红色的水果,那么想到的可能有苹果、樱桃等,如果在苹果、樱桃两类水果上再加一个限定,例如果实较大,那么想到的便是苹果。 这里水果可以看成线性空间,红色的水果可以看成赋范线性空间,果实较大的红色水果可以看出内积空间。 Hilbert空间便是在线性空间的基础上加入了几个约束或者限定条件!

你可能感兴趣的:(机器学习)