概要: 在本系列的文章中,我们对Aronszajn在1950年发表的论文中建立的再生核希尔伯特空间(Reproducing Kernel Hilbert Spaces,RKHS)理论[1]进行了总结。
关键字: RKHS; 向量空间
在下文中,除非另行说明,我们用 χ \chi χ表示一个任意非空集,用 H \mathscr{H} H表示一个基于 χ \chi χ的复值函数希尔伯特空间。因此, H \mathscr{H} H是基于 χ \chi χ的所有复值函数集合(空间)—— R χ \mathbb{R}^{\chi} Rχ——的子集(子空间)。虽然适用于复值希尔伯特空间的更加普适的理论已经提出,但是为了便于理解,可以先只考虑实值希尔伯特空间。下面提供了一个非空集上的实值希尔伯特空间的示例。
示例: \textbf{示例:} 示例:
令 χ = [ 0 , 1 ] \chi=[0,1] χ=[0,1], H \mathscr{H} H为定义在 χ \chi χ上的平方可积实值函数集。也就是说:
H = F = { f ∣ f : [ 0 , 1 ] → R , ∫ 0 1 ∣ f ( x ) ∣ 2 d x < ∞ } . \mathscr{H}=\mathscr{F} =\{f|f: [0,1] \rightarrow \mathbb{R},\int_{0}^{1} \lvert f(x) \rvert^2dx<\infty\}. H=F={f∣f:[0,1]→R,∫01∣f(x)∣2dx<∞}.
正如在前一篇的练习2中所暗示的,上面定义的 F \mathscr{F} F是希尔伯特空间。回想一下,希尔伯特空间是一个向量空间,它有一个内积运算(另外,它关于由内积导出的范数,即典范范数canonical norm,是完整的)。因此,希尔伯特空间应该具有三个关键运算:从向量空间继承加法运算和数乘运算,内积运算。为了让读者相信F确实是一个希尔伯特空间,我们在 F \mathscr{F} F中总结这三个关键运算。下面,把 F \mathscr{F} F看作向量空间,把 f , g ∈ F f,g \in \mathscr{F} f,g∈F看作向量(虽然它们同时也是函数)。
1. 加法:对每个 f ∈ H f \in \mathscr{H} f∈H和 g ∈ H g \in \mathscr{H} g∈H,我们可以将元素 ( f + g ) ∈ H (f+g)\in \mathscr{H} (f+g)∈H定义为, ( f + g ) : [ 0 , 1 ] → R : ( f + g ) ( x ) = f ( x ) + g ( x ) . (f+g):[0,1] \rightarrow \mathbb{R}:(f+g)(x)=f(x)+g(x). (f+g):[0,1]→R:(f+g)(x)=f(x)+g(x).
2. 数乘:对每个 f ∈ H f \in \mathscr{H} f∈H和 a ∈ R a \in \mathbb{R} a∈R,我们可以将元素 ( a f ) ∈ H (af)\in \mathscr{H} (af)∈H定义为, ( a f ) : [ 0 , 1 ] → R : ( a f ) ( x ) = a f ( x ) . (af):[0,1] \rightarrow \mathbb{R}:(af)(x)=af(x). (af):[0,1]→R:(af)(x)=af(x).
3. 内积:对每个 f ∈ H f \in \mathscr{H} f∈H和 g ∈ H g \in \mathscr{H} g∈H, H \mathscr{H} H中的内积定义为,
⟨ f , g ⟩ H = ∫ 0 1 f ( x ) g ( x ) d x . \lang f,g \rang_{\mathscr{H}}=\int_{0}^{1} f(x)g(x)dx. ⟨f,g⟩H=∫01f(x)g(x)dx.
在本文中,我们使用术语核(Kernel)标识在任意集合上定义的实值或复值二元函数。对于函数 k : χ × χ → C k:\chi \times \chi \rightarrow \mathbb{C} k:χ×χ→C(或者 R \mathbb{R} R,这取决于具体要求),我们认为术语“基于 χ \chi χ的核”和“基于 χ × χ \chi \times \chi χ×χ的核”是一样的。例如,若 χ = R , k : R × R → R : k ( x , y ) = x y \chi=\mathbb{R},k:\mathbb{R} \times \mathbb{R} \rightarrow \mathbb{R}:k(x,y)=xy χ=R,k:R×R→R:k(x,y)=xy是一个实值核。
现在我们定义再生核(Reproducing Kernel),这是一种特殊的核。
再生核的定义: \textbf{再生核的定义:} 再生核的定义:
设 χ \chi χ是一个非空集, H ∈ C χ \mathscr{H} \in \mathbb{C}^{\chi} H∈Cχ是一个基于 χ \chi χ的复值函数希尔伯特空间。核 k : χ × χ → C k:\chi \times \chi \rightarrow \mathbb{C} k:χ×χ→C在满足以下2个条件时称作希尔伯特空间 H \mathscr{H} H的再生核(reproducing kernel)。
1. 对每个 x 0 ∈ χ , k ( y , x 0 ) x_0 \in \chi, k(y,x_0) x0∈χ,k(y,x0)视作属于希尔伯特空间 H \mathscr{H} H的 y y y的函数.
2. 再生性:对每个 x 0 ∈ χ x_0 \in \chi x0∈χ和 f ∈ H f \in \mathscr{H} f∈H, f ( x 0 ) = ⟨ f ( ⋅ ) , k ( ⋅ , x 0 ) ⟩ H f(x_0)=\lang f(\sdot),k(\sdot,x_0) \rang_{\mathscr{H}} f(x0)=⟨f(⋅),k(⋅,x0)⟩H.
第一条性质很容易理解,因为 k ( y , x ) k(y,x) k(y,x)是一个二元函数,当我们把第二个变量固定为 x 0 x_0 x0时就得到了关于第一个变量 y y y的一元函数,这个函数的映射关系是从 χ \chi χ到 C \mathbb{C} C。第1条性质要求函数 k k k在 x 0 x_0 x0为集合 χ \chi χ中任意元素的情况下皆属于希尔伯特空间 H \mathscr{H} H。现在我们可以这样理解第2条性质:在 χ \chi χ中任取元素 x 0 x_0 x0,在 H \mathscr{H} H中任取元素 f f f,从第1条性质我们知道 k ( ⋅ , x 0 ) k(\sdot,x_0) k(⋅,x0)一定是空间 H \mathscr{H} H中的元素,因此我们可以计算空间 H \mathscr{H} H中两个元素—— f f f和 k ( ⋅ , x 0 ) k(\sdot,x_0) k(⋅,x0)——的内积。第2条性质要求这个内积值(复数)等于 f ( x 0 ) f(x_0) f(x0)。
希尔伯特空间是具有向量空间结构和内积运算的集合。当我们把 H \mathscr{H} H看作一个常规集合时,定义从 H \mathscr{H} H映射到 C \mathbb{C} C的函数没有什么不寻常的。然而,由于 H \mathscr{H} H的元素也是函数(function),所以这有时会比较容易混淆。因此,我们使用泛函(functional)这个术语来指代从 H \mathscr{H} H映射到 C \mathbb{C} C的函数,即函数的函数(a function of a function),并且保留函数(function)这个术语来指代 H \mathscr{H} H的成员,即从 χ \chi χ映射到 C \mathbb{C} C的函数。
从 χ \chi χ中取元素 x 0 x_0 x0,我们可以把每个 f ∈ H f \in \mathscr{H} f∈H映射到 f ( x 0 ) ∈ C f(x_0) \in \mathbb{C} f(x0)∈C。因为 f f f是一个从 χ \chi χ映射到 C \mathbb{C} C的函数,所以只有一个 f ( x 0 ) f(x_0) f(x0),因此,映射 f → f ( x 0 ) f \rightarrow f(x_0) f→f(x0)是一个从 H \mathscr{H} H到 C \mathbb{C} C的函数(或术语“泛函”),这个函数就称为在 x 0 x_0 x0处的点求值泛函(point evaluation functional)。形式化定义如下所示。
点求值泛函(point evaluation functional)的定义: \textbf{点求值泛函(point evaluation functional)的定义:} 点求值泛函(point evaluation functional)的定义:
点 x 0 ∈ χ x_0 \in \chi x0∈χ处的点求值泛函 L x : H → C L_x: \mathscr{H} \rightarrow \mathbb{C} Lx:H→C定义为 L x ( f ) : = f ( x ) L_x(f):=f(x) Lx(f):=f(x)。
我们现在开始研究再生核希尔伯特空间(RKHS)的形式化定义。
再生核希尔伯特空间(RKHS)的定义: \textbf{再生核希尔伯特空间(RKHS)的定义:} 再生核希尔伯特空间(RKHS)的定义:
非空集 χ \chi χ上的复值函数希尔伯特空间 H \mathscr{H} H在以下条件满足时被称为再生核希尔伯特空间: ∀ x ∈ χ \forall x \in \chi ∀x∈χ,点求值泛函 L x L_x Lx是一个有界(等价于连续,continuous)线性算子(bounded linear operator)。
由于前面已经讨论过所有相关术语,所以上述定义在此处不再赘述。上一篇文章讨论了有界线性算子的定义。注意,两个赋范向量空间之间的线性算子有界当且仅当它是连续的。
我们接下来陈述并证明以下定理,以便更深入地理解RKHS的概念。
定理: \textbf{定理:} 定理:
一个希尔伯特空间是再生核希尔伯特空间(RKHS),当且仅当它有一个再生核(reproducing kernel)。
证明: \textbf{证明:} 证明:
首先假设 H \mathscr{H} H是一个RKHS,把 H \mathscr{H} H的对偶空间标记成 H ∗ \mathscr{H}^* H∗,它由所有由 H \mathscr{H} H映射到 C \mathbb{C} C的连续线性泛函构成。因为 H \mathscr{H} H是一个RKHS,所以对任意 x ∈ χ x \in \chi x∈χ, L x L_x Lx是空间 H ∗ \mathscr{H}^* H∗中的元素。因此,根据里斯表示定理(Riesz representation theorem),任一 L x L_x Lx拥有如下形式的唯一表示:
L x ( f ) = ⟨ f , k x ⟩ H . L_x(f)=\lang f,k_x \rang_{\mathscr{H}}. Lx(f)=⟨f,kx⟩H.
其中 k x ∈ H k_x \in \mathscr{H} kx∈H仅取决于 x x x。现在,定义二元函数 k : χ × χ → C k:\chi \times \chi \rightarrow \mathbb{C} k:χ×χ→C为 k ( y , x ) = k x ( y ) k(y,x)=k_x(y) k(y,x)=kx(y)。根据这个定义, k ( y , x ) k(y,x) k(y,x)拥有了再生核的第1条性质,同样 k ( y , x ) k(y,x) k(y,x)也拥有第2条性质再生性(reproducing property)是因为
f ( x ) = L x ( f ) = ⟨ f ( ⋅ ) , k ( ⋅ , x ) ⟩ H , f(x)=L_x(f)=\lang f(\sdot),k(\sdot,x) \rang_{\mathscr{H}}, f(x)=Lx(f)=⟨f(⋅),k(⋅,x)⟩H,
对于 ∀ x ∈ χ , f ∈ H \forall x \in \chi,f \in \mathscr{H} ∀x∈χ,f∈H成立。因此, k ( y , x ) k(y,x) k(y,x)是 H \mathscr{H} H的一个再生核。
反之,假设希尔伯特空间 H \mathscr{H} H存在再生核 k ( y , x ) k(y,x) k(y,x),回想上一篇文章中有界线性算子的定义。注意, L x L_x Lx是从 H \mathscr{H} H到 C \mathbb{C} C的函数,其中 H \mathscr{H} H的范数是由其内积导出的(典范范数),而 C \mathbb{C} C中的范数只是绝对值(absolute value)。
设 f ∈ H f \in \mathscr{H} f∈H,则:
∣ L x ( f ) ∣ = ∣ f ( x ) ∣ = ∣ ⟨ f ( ⋅ ) , k ( ⋅ , x ) ⟩ H ∣ \lvert L_x(f)\rvert= \lvert f(x) \rvert=\lvert \lang f(\sdot),k(\sdot,x) \rang_{\mathscr{H}} \rvert ∣Lx(f)∣=∣f(x)∣=∣⟨f(⋅),k(⋅,x)⟩H∣
⩽ ∥ f ( ⋅ ) ∥ H ∥ k ( ⋅ , x ) ∥ H ( 柯 西 不 等 式 ) \leqslant \lVert f(\sdot) \rVert_{\mathscr{H}} \lVert k(\sdot,x)\rVert_{\mathscr{H}}(柯西不等式) ⩽∥f(⋅)∥H∥k(⋅,x)∥H(柯西不等式)
= ∥ f ( ⋅ ) ∥ H ⟨ k ( ⋅ , x ) , k ( ⋅ , x ) ⟩ H 1 / 2 = \lVert f(\sdot) \rVert_{\mathscr{H}} \lang k(\sdot,x),k(\sdot,x)\rang_{\mathscr{H}}^{1/2} =∥f(⋅)∥H⟨k(⋅,x),k(⋅,x)⟩H1/2
= ∥ f ∥ H k ( x , x ) 1 / 2 ( 再 生 核 性 质 2 ) = \lVert f \rVert_{\mathscr{H}} k(x,x)^{1/2}(再生核性质2) =∥f∥Hk(x,x)1/2(再生核性质2)
因此,从定义上看,对于 ∀ x ∈ χ \forall x \in \chi ∀x∈χ, L x L_x Lx是一个有界线性算子,因此 H \mathscr{H} H是一个RKHS。
对于给定的RKHS,再生核是唯一的。为了证明这种唯一性,我们请读者查阅参考文献[1]。
众所周知,再生核的特征是正定性。在下一篇文章中,我们将详细讨论正定核和负定核,并说明它们与再生核希尔伯特空间的联系。
[1] Aronszajn,N.Theory of Reproducing Kernels.Transactions of the American Mathematical Society,(1950).