再生核希尔伯特空间(RKHS)导论—第二部分
再生核希尔伯特空间[RKHS]导论—第二部分
- 1 上节回顾
- 2 内积空间(Inner Product Space)
- 3 希尔伯特空间(Hilbert Space)
- 4 再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)
注：本博客翻译自此链接。
概要： 在本文中，我们继续学习关于再生核希尔伯特空间(RKHS)的内容。本教程的前一部分可以在这里找到。
关键字： RKHS; 向量空间
1 上节回顾
我们首先简要总结一下上一篇文章中介绍的各种空间。这个总结只是想给你一些关于这些不同空间的直观想法。有关更严格的定义和更多解释，请参考上一篇。
∙ \bullet ∙向量空间(Vector Space)-具有加法和数乘这两个特殊运算的集合。
∙ \bullet ∙赋范空间(Normed Vector Space)-定义了向量长度的向量空间。向量长度的概念也允许我们测量向量之间的距离。
∙ \bullet ∙度量空间(Metric Space)-定义内部两元素间距离的集合(不一定是向量空间)。赋范向量空间是度量空间，但度量空间并不一定是赋范向量空间。
∙ \bullet ∙巴拿赫空间(Banach Space)-完备的赋范向量空间。一个没有缺失元素的完整的空间，即所有定义于其上的Cauchy序列都有极限。
在引入赋范向量空间时，我们引入了向量空间中的一个重要结构：距离。现在，我们介绍向量空间上的另一种结构：内积。注意，内积不同于任何向量空间所具有的数乘。向量空间的数乘在标量和向量上操作，产生向量作为输出。相反，内积作用于两个向量，给出一个标量作为输出。当在一个向量空间上定义了内积后，它就成为一个内积空间。现在我们开始形式化的定义。
2 内积空间(Inner Product Space)
在引入赋范向量空间时，我们引入了向量空间中的一个重要结构：距离。现在，我们介绍向量空间上的另一种结构：内积。注意，内积不同于任何向量空间所具有的数乘。向量空间的数乘在标量和向量上操作，产生向量作为输出。相反，内积作用于两个向量，给出一个标量作为输出。当在一个向量空间上定义了内积后，它就成为一个内积空间。现在我们开始形式化的定义。
一个内积空间 ( ν , ⟨ ⋅ , ⋅ ⟩ ) (\nu,\lang \cdot,\cdot \rang) (ν,⟨⋅,⋅⟩)是一个在域 F \mathbb{F} F上被赋予内积 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot \rang ⟨⋅,⋅⟩的向量空间 ν \nu ν。其中内积 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot \rang ⟨⋅,⋅⟩是指对于任意 x , y , z ∈ ν \textbf{x},\textbf{y},\textbf{z}\in\nu x,y,z∈ν， a ∈ F a\in \mathbb{F} a∈F满足下述3个公理的 ν × ν → F \nu \times \nu \rightarrow \mathbb{F} ν×ν→F映射。
1. 共轭对称性： ⟨ x , y ⟩ = ⟨ y , x ⟩ ‾ \lang \textbf{x},\textbf{y} \rang=\overline{ \lang \textbf{y},\textbf{x} \rang} ⟨x,y⟩=⟨y,x⟩.
2. 第一个参数的线性性： ⟨ a x , y ⟩ = a ⟨ y , x ⟩ \lang a\textbf{x},\textbf{y} \rang=a \lang \textbf{y},\textbf{x} \rang ⟨ax,y⟩=a⟨y,x⟩ and ⟨ x + z , y ⟩ = ⟨ x , y ⟩ + ⟨ z , y ⟩ \lang \textbf{x}+\textbf{z},\textbf{y} \rang=\lang \textbf{x},\textbf{y} \rang+\lang \textbf{z},\textbf{y} \rang ⟨x+z,y⟩=⟨x,y⟩+⟨z,y⟩.
3. 正定性： ⟨ x , x ⟩ ⩾ 0 \lang \textbf{x},\textbf{x} \rang \geqslant0 ⟨x,x⟩⩾0当且仅当 x = 0 \textbf{x}=0 x=0时取等号.
域 F \mathbb{F} F要么是实数集 R \mathbb{R} R，要么是复数集 C \mathbb{C} C，当域 F \mathbb{F} F是实数集 R \mathbb{R} R时，公理1的共轭对称性就变成对称性，因为实数的共轭就是它本身。
练习1： n \textbf{练习1：}n 练习1：n维实数空间(欧式空间) R n \mathbb{R^{n}} Rn中的点积(dot product)运算定义为： x ⋅ y = ∑ i = 1 n x i y i \textbf{x} \cdot \textbf{y}=\sum_{i=1} ^{n}x_{i}y _{i} x⋅y=∑i=1nxiyi，其中 x i , y i , i = 1 , 2 , . . . x_{i},y_{i},i=1,2,... xi,yi,i=1,2,...分别是向量 x , y \textbf{x},\textbf{y} x,y中的元素。证明带有点积运算的 n n n维实数空间(欧式空间) R n \mathbb{R^{n}} Rn是一个内积空间。
练习2： \textbf{练习2：} 练习2：令 F \mathscr{F} F是实值平方可积函数的集合，即
F = { f ∣ f : R → R , ∫ − ∞ ∞ ∣ f ( x ) ∣ 2 d x < ∞ } . \mathscr{F} =\{f|f: \mathbb{R} \rightarrow \mathbb{R},\int_{-\infty}^{\infty} \lvert f(x) \rvert^2dx<\infty\}. F={f∣f:R→R,∫−∞∞∣f(x)∣2dx<∞}.
已知 F \mathscr{F} F在实数域 R \mathbb{R} R上通过加法和数乘两种运算形成无穷维向量空间，证明 F \mathscr{F} F也是一个内积空间，其中内积 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot \rang ⟨⋅,⋅⟩定义为满足以下关系的 F × F → R \mathscr{F} \times \mathscr{F} \rightarrow \mathbb{R} F×F→R映射：
∀ f , g ∈ F , ⟨ f , g ⟩ = ∫ − ∞ ∞ f ( x ) g ( x ) d x < ∞ . \forall f,g \in \mathscr{F},\qquad \lang f,g \rang=\int_{-\infty}^{\infty} f(x)g(x)dx<\infty. ∀f,g∈F,⟨f,g⟩=∫−∞∞f(x)g(x)dx<∞.
注意，在上面的练习2中，向量空间 F \mathscr{F} F中的向量(点)实际上是函数。为了帮助将函数理解为向量，可以假设向量空间 F \mathscr{F} F中所有函数在 n n n个不动点 x 1 , x 2 , . . . x n x_1,x_2,...x_n x1,x2,...xn处被采样，并且这 n n n个不动点在函数域中等间隔分布(练习2中的函数域就是直线)。之后，一个给定的函数 f f f就可以用 n n n维向量空间 R n \mathbb{R^{n}} Rn中的 n n n维向量 [ f ( x 1 ) f ( x 2 ) . . . f ( x n ) ] [f(x_1) \ \ f(x_2) \ \ ... \ \ f(x_n)] [f(x1) f(x2) ... f(xn)]来表示，当 n → ∞ n \rightarrow \infty n→∞时，这些函数构成了一个无穷维向量空间。
现在鼓励读者尝试下面的简单练习。
练习3： \textbf{练习3：} 练习3：假设 ( ν , ⟨ ⋅ , ⋅ ⟩ ν ) (\nu,\lang \cdot,\cdot\rang_{\nu}) (ν,⟨⋅,⋅⟩ν)是一个内积空间，从内积空间和赋范向量空间的定义出发证明 ( ν , ∥ ⋅ ∥ ν ) (\nu,\lVert \cdot \rVert_{\nu}) (ν,∥⋅∥ν)是一个赋范向量空间，其中 ∀ x ∈ ν , ∥ x ∥ ν = ⟨ x , x ⟩ ν . \forall \textbf{x} \in \nu,\lVert \textbf{x} \rVert_{\nu}=\sqrt{\lang \textbf{x},\textbf{x} \rang_{\nu}}. ∀x∈ν,∥x∥ν=⟨x,x⟩ν.
从上面的练习可以看出，当向量空间上具有内积结构时，我们还可以在内积的帮助下定义向量空间上的范数。我们把这个范数称作 l 2 l^2 l2范数( l 2 n o r m l^2 \ norm l2 norm)，它的定义是： ∥ x ∥ = ⟨ x , x ⟩ \lVert \textbf{x} \rVert=\sqrt{\lang \textbf{x},\textbf{x} \rang} ∥x∥=⟨x,x⟩，其中 x \textbf{x} x是以 ⟨ ⋅ , ⋅ ⟩ \lang \cdot,\cdot\rang ⟨⋅,⋅⟩为内积的内积空间中的向量。举个例子，当内积空间是以点积为内积的 n n n维实数空间 R n \mathbb{R^{n}} Rn时，对于 ∀ x ∈ R n , ∥ x ∥ = ⟨ x , x ⟩ = ∑ i = 1 n x i 2 . \forall \textbf{x} \in \mathbb{R^{n}},\lVert \textbf{x} \rVert=\sqrt{\lang \textbf{x},\textbf{x} \rang}=\sum_{i=1} ^{n}x_{i}^2. ∀x∈Rn,∥x∥=⟨x,x⟩=∑i=1nxi2.
虽然内积可以导出范数，但并不是每个范数都由内积导出。例如，定义在 R n \mathbb{R^{n}} Rn上的 l 1 l^1 l1范数： ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ \lVert \textbf{x} \rVert_1=\sum_{i=1}^{n} \lvert x_{i} \lvert ∥x∥1=∑i=1n∣xi∣ 就不是由内积导出的。
内积空间也称为准希尔伯特空间，意思是它还差一步就能成为希尔伯特空间，下面我们将介绍希尔伯特空间。
3 希尔伯特空间(Hilbert Space)
如上所述，内积空间具有由其内积推导得到的范数。然而，关于(with respect ro)此范数的通用内积空间可能不是完备的(关于空间的完备性，请参考上一篇)。当这个条件满足，即某个内积空间关于(with respect ro)由其内积导出的范数具备完备性时，它就是希尔伯特空间，希尔伯特空间的一个例子是以点积作为内积的 n n n维实数空间 R n \mathbb{R^{n}} Rn。
显然，具有典范范数(canonical norm,由内积导出的范数)的希尔伯特空间也是巴拿赫空间(Banach Space)。虽然希尔伯特空间不一定是无限维的，但术语“希尔伯特空间”通常指无限维空间，如函数空间(a space of functions)。无穷维希尔伯特空间的一个例子是练习2中引入的平方可积函数空间，它被称为 L 2 L^2 L2空间。
4 再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)
现在，我们终于触及到到本教程最重要的主题：再生核希尔伯特空间。首先，我们来定义一些需要用到的术语。这些定义非常简单且易于理解，因此我们直接在下面简要地介绍，而不另深入讨论。
线性算子(Linear operator)： \textbf{线性算子(Linear operator)：} 线性算子(Linear operator)：也叫线性映射(Linear map)，设定义在域 F \mathbb{F} F上的映射 f : ν → ω f:\nu \rightarrow \omega f:ν→ω 是从向量空间 ν \nu ν到向量空间 ω \omega ω的函数，若 ∀ x , y ∈ ν , a ∈ F \forall \textbf{x}, \textbf{y} \in \nu,a \in \mathbb{F} ∀x,y∈ν,a∈F，有以下两条性质成立，则称 f f f为线性算子。
1. f ( u + v ) = f ( u ) + f ( v ) f(\textbf{u}+\textbf{v})=f(\textbf{u})+f(\textbf{v}) f(u+v)=f(u)+f(v).
2. f ( a u ) = a f ( u ) f(a\textbf{u})=af(\textbf{u}) f(au)=af(u).
有界线性算子(Bounded linear operator)： \textbf{有界线性算子(Bounded linear operator)：} 有界线性算子(Bounded linear operator)：设映射 f : ν → ω f:\nu \rightarrow \omega f:ν→ω 是从赋范向量空间 ( ν , ∥ ⋅ ∥ ν ) (\nu,\lVert \cdot \rVert_{\nu}) (ν,∥⋅∥ν)到赋范向量空间 ( ω , ∥ ⋅ ∥ ω ) (\omega,\lVert \cdot \rVert_{\omega}) (ω,∥⋅∥ω)的线性算子，若以下性质成立，则称 f f f为有界线性算子。
∃ M > 0 , s . t . , ∀ u ∈ ν , ∥ f ( u ) ∥ ω ⩽ M ∥ u ∥ ν \exist M>0,s.t., \forall \textbf{u} \in \nu, \lVert f(\textbf{u})\rVert_{\omega} \leqslant M\lVert \textbf{u} \rVert_{\nu} ∃M>0,s.t.,∀u∈ν,∥f(u)∥ω⩽M∥u∥ν.
下一篇文章将专门讨论再生核希尔伯特空间(RKHS)及其属性。