机器学习入门-西瓜书总结笔记第十二章

---

一、基础知识

• 计算学习理论（computational learning theory） 研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。
  给定样例集$D=\{({x\text{x}x}_1,y_1),({x\text{x}x}_2,y_2),\cdots ,({x\text{x}x}_m,y_m),\},{x\text{x}x}_i\in \mathcal{X}$，本章主要讨论二分类问题，若无特别说明，$y_i\in \mathcal{Y}=\{-1,+1\}$。假定$\mathcal{X}$中的所有样本服从一个隐含未知的分布$\mathcal{D}$，D中所有样本都是独立地从这个分布上采样而得，即独立同分布（independent and identically distributed，简称$i.i.d$）样本。
  令h为从$\mathcal{X}$到$\mathcal{Y}$的一个映射，其泛化误差为
  $$E(h;\mathcal{D})=P_{x\sim \mathcal{D}}(h(x\text{x}x)\ne )$$
  h在D上的经验误差为
  $$\hat{E}(h;D)=\frac{1}{m}\sum _{i=1}^m\Pi (h({x\text{x}x}_i)\ne y_i)$$
  由于D是$\mathcal{D}$的独立同分布采样，因此h的经验误差的期望等于其泛化误差。将$E(h;\mathcal{D})$和$\hat{E}(h;D)$分别简记为$E(h)$和$\hat{E}(h)$。令$ϵ$为$E(h)$的上限，即$E(h)\le ϵ$；通常用$ϵ$表示预先设定的学得模型所应满足的误差要求，亦称“误差参数”
  本章后面部分将研究经验误差与泛化误差之间的逼近程度。若h在数据集D上的经验误差为0，则称h与D一致，否则称为其与D不一致。对任意两个映射$h_1,h_2\in \mathcal{X}\to \mathcal{Y}$，可通过其“不合”（disagreement）来度量它们之间的差别：
  $$d(h_1,h_2)=P_{x\sim \mathcal{D}}(h_1(x\text{x}x)\ne h_2(x\text{x}x))$$
  会用到几个常用不等式：
• Jensen不等式：对任意凸函数$f(x)$，有
  $$f(\mathbb{E}(x))\le \mathbb{E}(f(x))$$
• Hoeffding不等式：若$x_1,x_2,\cdots ,x_m$为m个独立随机变量，且满足$0\le x_i\le 1$，则对任意$ϵ>0$，有
  $$\begin{array}{rl}& P(\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}(x_i)\ge ϵ)\le \exp (-2m{ϵ}^2),\\ & P\left(\right|\frac{1}{m}\sum _{i=1}^m{x}_i-\frac{1}{m}\sum _{i=1}^m\mathbb{E}(x_i)|\ge ϵ)\le 2\exp (-2m{ϵ}^2),\end{array}$$
• McDiarmid不等式：若$x_1,x_2,\cdots ,x_m$为m个独立随机变量，且满足$0\le i\le m$，函数$f$满足
  $$\underset{x_1,x_2,\cdots ,x_m,x_i^{\prime }}{\sup }|f(x_1,x_2,\cdots ,x_m)-f(x_1,\cdots ,x_{i-1},x_i^{\prime },x_{i+1},\cdots ,x_m)|\le c_i,$$
  则对任意$ϵ>0$，有
  $$\begin{array}{rl}& P(f(x_1,\cdots ,x_m)-\mathbb{E}(f(x_1,\cdots ,x_m))\ge ϵ)\le \exp \left(\frac{-2{ϵ}^2}{{\sum }_i{c}_i^2}\right),\\ & P(|f(x_1,\cdots ,x_m)-\mathbb{E}(f(x_1,\cdots ,x_m))|\ge ϵ)\le 2\exp \left(\frac{-2{ϵ}^2}{{\sum }_i{c}_i^2}\right),\end{array}$$

二、PAC学习

• 计算学习理论中最基本的是 概率近似正确（Probably Approximately Correct，简称PAC） 学习理论。

令c表示 “概念”（concept），这是从样本空间$\mathcal{X}$到标记空间$y$的映射，它决定示例$x\text{x}x$的真实标记y，若对任何样例$(x\text{x}x,y)$有$c(x\text{x}x)=y$成立，则称$c$为目标概念；所有希望学得的目标概念所构成的集合称为 “概念类”（concept class），用符号$\mathcal{C}$表示。
给定学习算法$\mathfrak{L}$，它所考虑的所有可能概念的集合称为 “假设空间”（hypothesis space），用符号$\mathcal{H}$表示。由于学习算法事先并不知道概念类的真实存在，因此$\mathcal{H}$和$\mathcal{C}$通常是不同的，学习算法会自认为可能的目标概念类集中起来构成$\mathcal{H}$，对$h\in \mathcal{H}$，由于并不确定它是否真实目标概念，因此称为 “假设”（hypothesis） 。
若目标概念$c\in \mathcal{H}$，则$\mathcal{H}$中存在假设能将所有示例按与真实标记一致的方式完全分开，称该问题对学习算法$\mathfrak{L}$是 “可分的”（separable），亦称 “一致的”（consistent）；若$c\notin \mathcal{H}$，则$\mathcal{H}$中不存在任何假设能将所有示例完全正确分开，称该问题对学习算法$\mathfrak{L}$是 “不可分的”（non-separable），亦称 “不一致的”（non-consistent）
给定训练集D，我们希望基于学习算法$\mathfrak{L}$学得的模型所对应的假设h尽可能接近目标概念c。由于机器学习过程收到很多因素的制约，例如获得的训练集D往往仅包含有限数量的样例，通常会存在一些在D上“等效”的假设，学习算法对它们无法区别；再如，从分布$\mathcal{D}$采样得到D的过程有一定偶然性，可以想象，即便对同样大小的不同训练集，学得结果也可能有所不同。因此，是希望以比较大的把握学得比较好的模型，也就是说，以较大的概率学得误差满足预设上限的模型；这就是“概率”“近似正确”的含义。形式化地说，令$\delta$表示置信度，可定义：

• PAC辨别（PAC Identify） ：对$0<ϵ,\delta <1$，所有$c\in \mathcal{C}$和分布$\mathcal{D}$，若存在学习算法$\mathfrak{L}$，其输出假设$h\in \mathcal{H}$满足
  $$P(E(h)\le ϵ)\ge 1-\delta$$
  则称学习算法$\mathfrak{L}$能从假设空间$\mathcal{H}$中PAC辨识概念类$\mathcal{C}$.

这样的学习算法$\mathfrak{L}$能以较大的概率（至少$1-\delta$）学得目标概念c的近似（误差最多为$ϵ$）。在此基础上可定义

• PAC可学习（PAC Learning） ：令m表示从分布$\mathcal{D}$中独立同分布采样得到的样例数目，$0<ϵ,\delta <1$，对所有分布$\mathcal{D}$，若存在学习算法$\mathfrak{L}$和多项式函数$poly(\cdot ,\cdot ,\cdot ,\cdot )$，使得对于任何$m\ge poly(1/ϵ,1/\delta ,size(x\text{x}x),size(c))$，$\mathfrak{L}$能从假设空间$\mathcal{H}$中PAC辨识概念类$\mathcal{C}$，则称概念类$\mathcal{C}$对假设空间$\mathcal{H}$而言PAC可学习的，有时也简称概念类$\mathcal{C}$是PAC可学习的

对计算机算法来说，必须要考虑时间复杂度，于是：

• PAC学习算法（PAC Learning Algorithm）：若学习算法$\mathfrak{L}$使得概念类$\mathcal{C}$为PAC可学习的，且$\mathfrak{L}$运行时间也是多项式函数$poly(1/ϵ,1/\delta ,size(x\text{x}x),size(c))$，则称概念类$\mathcal{C}$是 高效PAC可学习（efficiently PAC learnable） 的，称$\mathfrak{L}$为概念类$\mathcal{C}$的PAC学习算法

假定学习算法$\mathfrak{L}$处理每个样本的时间为常数，则$\mathfrak{L}$的时间复杂度等价于样本复杂度。于是，对算法时间复杂度的关心就转化为对样本复杂度的关心。

• 样本复杂度（Sample Complexity） ：满足PAC学习算法$\mathfrak{L}$所需的$m\ge poly(1/ϵ,1/\delta ,size(x\text{x}x),size(c))$中最小的m，称为学习算法$\mathfrak{L}$的样本复杂度。

显然，PAC学习给出了一个抽象地刻画机器学习能力的框架，基于这个框架能对很多重要问题进行探讨，例如研究某任务在什么样的条件下可学得较好的模型？某算法在什么样的条件下可进行有效的学习？需多少训练样例才能获得较好的模型？
PAC学习中一个关键因素是假设空间$\mathcal{H}$的复杂度。$\mathcal{H}$包含了学习算法$\mathfrak{L}$所有可能输出的假设，若在PAC学习中假设空间与概念类完全相同，即$\mathcal{H}=\mathcal{C}$，这称为“恰PAC学习”（Properly PAC learnable）；直观地看，这意味着学习算法的能力与学习任务“恰好匹配”。然而，这种让所有候选假设都是来自概念类的要求看似合理，但却并不实际，因为在现实应用中对概念类$\mathcal{C}$通常一无所知，更别说获得一个假设空间与概念类恰好相同的学习算法。显然更重的是研究假设空间与概念类不同的情形，即$\mathcal{H}\ne \mathcal{C}$。一般而言$\mathcal{H}$越大，其包含任意目标概念的可能性越大，但从中找到某个具体概念的难度越大。$|\mathcal{H}|$有限时，称$\mathcal{H}$为“有限假设空间”，否则称为“无限假设空间”

三、有限假设空间

1.可分情形

可分情形意味着目标概念c属于假设空间$\mathcal{H}$，即$c\in \mathcal{H}$。给定包含m个样例的训练集D，如何找出满足误差参数的假设呢？
容易想到一种简单的学习策略：既然D中样例标记都是由目标概念c赋予的，并且c存在于假设空间$\mathcal{H}$中，那么，任何在训练集D上出现标记错误的假设肯定不是目标概念c。于是，只需要保留与D一致的假设，剔除与D不一致的假设即可。若训练集D足够大，则可不断借助D中样例剔除不一致的假设，直至$\mathcal{H}$中仅剩下一个假设为止，这个假设就是目标概念c。通常情形下，由于训练集规模有限，假设空间$\mathcal{H}$中可能存在不止一个与D一致的“等效”假设，对这些等效假设，无法根据D来对它们的优劣做进一步的区分。
到底需要多少样例才能学得目标概念c的有效近似呢？对PAC学习来说，只要训练集D的规模能使学习算法$\mathfrak{L}$以概率$1-\delta$找到目标假设的$ϵ$近似即可。
先估计泛化误差大于$ϵ$但在训练集上仍表现完美的假设出现的概率。假定h的泛化误差大于$ϵ$，对分布$\mathcal{D}$上随机采样而得的任何样例$(x\text{x}x,y)$，有
$$\begin{array}{rl}P(h(x\text{x}x)=y)& =1-P(h(x\text{x}x)\ne y)\\ & =1-E(h)\\ & <1-ϵ\end{array}$$
由于D包含m个从$\mathcal{D}$独立同分布采样而得的样例，因此，h与D表现一致的概率为
$$\begin{array}{rl}P((h({x\text{x}x}_1)=y_1)\wedge \cdots \wedge (h({x\text{x}x}_m)=y_m))& =(1-P(h(x\text{x}x)\ne y){)}^m\\ & <(1-ϵ{)}^m\end{array}$$
事先并不知道学习算法$\mathfrak{L}$会输出$\mathcal{H}$中的哪个假设，但仅需保证泛化误差大于$ϵ$，且在训练集上表现完美的所有假设出现概率之和不大于$\delta$即可：
$$\begin{array}{rl}P(h\in \mathcal{H}:E(h)>ϵ\wedge \hat{E}(h)=0)& <|\mathcal{H}|(1-ϵ{)}^m\\ & <|\mathcal{H}|e^{-mϵ}\end{array}$$
令上式不大于$\delta$，即
$$|\mathcal{H}|e^{-mϵ}\le \delta$$
可得
$$m\ge \frac{1}{m}(\ln |\mathcal{H}|+\ln \frac{1}{\delta })$$
由此可知，有限假设空间$\mathcal{H}$都是PAC可学习的，所需的样例数目如上式所示，输出假设h的泛化误差随样例数目的增多而收敛到0，收敛速度为$O(\frac{1}{m})$

2.不可分情形

对较为困难的学习问题，目标概念c往往不存在于假设空间$\mathcal{H}$中。假定对于任何$h\in \mathcal{H},\hat{E}(h)\ne 0$，也就是说，$\mathcal{H}$中的任意一个假设都会在训练集上出现或多或少的错误。由Hoffding不等式易知：

• 若训练集D中包含m个从分布$\mathcal{D}$上独立同分布采样而得的样例，$0<ϵ<1$，则对任意$h\in \mathcal{H}$，有
  $$\begin{array}{rl}& P(\hat{E}(h)-E(h)\ge ϵ)\le \exp (-2m{ϵ}^2)\\ & P(E(h)-\hat{E}(h)\ge ϵ)\le \exp (-2m{ϵ}^2)\\ & P(|E(h)-\hat{E}(h)\ge ϵ|)\le 2\exp (-2m{ϵ}^2)\end{array}$$
• 若训练集D包含m个从分布$\mathcal{D}$上独立同分布采样而得的样例，$0<ϵ<1$，则对任意$h\in \mathcal{H}$，下式至少$1-\delta$的概率成立。
  $$\hat{E}(h)-\sqrt{\frac{\ln (2/\delta )}{2m}}\le E(h)\le \hat{E}(h)+\sqrt{\frac{\ln (2/\delta )}{2m}}$$

上述推论表明，样例数目m较大时，h的经验误差是其泛化误差很好的近似。

• 若$\mathcal{H}$为有限假设空间，$0<\delta <1$，则对任意$h\in \mathcal{H}$，有
  $$P(|E(h)-\hat{E}(h)|\le \sqrt{\frac{\ln |\mathcal{H}|+\ln (2/\delta )}{2m}})\ge 1-\delta$$

推导略

显然，当$c\ne \mathcal{H}$时，学习算法$\mathfrak{L}$无法学得目标概念c的$ϵ$近似。但是，当假设空间$\mathcal{H}$给定时，其中必存在一个泛化误差最小的假设，找出此假设的$ϵ$近似也不失为一个较好的目标。$\mathcal{H}$中泛化误差最小的假设是${\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{h\in \mathcal{H}}E(h)$，于是，以此为目标可将PAC学习推广到$c\notin \mathcal{H}$的情形，这称为“不可知学习”（agnostic learning）。相应的，我们有

• 不可知PAC可学习（agnostic PAC learnable） 令m表示从分布$\mathcal{D}$中独立同分布采样得到的样例数目，$0<ϵ,\delta <1$，对所有分布$\mathcal{D}$，若存在学习算法$\mathfrak{L}$和多项式函数$poly(\cdot ,\cdot ,\cdot ,\cdot )$，使得对于任何$m\ge poly(1/ϵ,1/\delta ,size(x\text{x}x),size(c))$，$\mathfrak{L}$能从假设空间$\mathcal{H}$中输出满足下式的假设h：
  $$P(E(h)-\underset{h^{\prime }\in \mathcal{H}}{\min }E(h^{\prime })\le ϵ)\ge 1-\delta$$
  则称假设空间$\mathcal{H}$是不可知PAC可学习的。
  与PAC学习类似，若学习算法$\mathfrak{L}$的运行时间也是多项式函数$poly(1/ϵ,1/\delta ,size(x\text{x}x),size(c))$，则称假设空间$\mathcal{H}$是高效不可知PAC可学习的，学习算法$\mathfrak{L}$则称为假设空间$\mathcal{H}$的不可知PAC学习算法，满足上述要求的最小m称为学习算法$\mathfrak{L}$的样本复杂度。

四、VC维

现实学习任务所面临的通常是无限假设空间，例如实数域中的所有区间、${\mathbb{R}}^d$空间中的所有线性超平面。欲对此情形的可学习性进行研究，需度量假设空间的复杂度。最常见的办法是考虑假设空间的“VC维”（Vapnik-Chervonenkis dimension）
介绍VC维之前，先引进几个概念：增长函数（growth function）、对分（dichotomy）和打散（shattering）
给定假设空间$\mathcal{H}$和示例集$D=\{{x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_m\}$，$\mathcal{H}$中每个假设h都能对D中示例赋予标记，标记结果可表示为
$$h{|}_D=\{(h({x\text{x}x}_1),h({x\text{x}x}_2),\cdots ,h({x\text{x}x}_m))\}$$
随着m的增大，$\mathcal{H}$中所有假设对D中示例所赋予标记的可能结果数也会增大。

• 对所有$m\in \mathbb{N}$，假设空间$\mathcal{H}$的增长函数${\Pi }_{\mathcal{H}}(m)$为
  $${\Pi }_{\mathcal{H}}(m)=\underset{\{x_1,\cdots ,x_m\}\subseteq \mathcal{X}}{\max }|\{(h({x\text{x}x}_1),h({x\text{x}x}_2),\cdots ,h({x\text{x}x}_m))|h\in \mathcal{H}\}|$$

增长函数${\Pi }_{\mathcal{H}}(m)$表示假设空间$\mathcal{H}$对m个示例所能赋予标记的最大可能结果数。显然，$\mathcal{H}$对示例所能赋予标记的可能结果数越大，$\mathcal{H}$的表示能力越强，对学习任务的适应能力也越强。因此，增长函数描述了假设空间$\mathcal{H}$表示能力，由此反映出假设空间的复杂度。可利用增长函数来估计经验误差与泛化误差之间的关系：

• 对假设空间$\mathcal{H},m\in \mathbb{N},0<ϵ<1$和任意$h\in \mathcal{H}$有
  $$P(|E(h)-\hat{E}(h)|>ϵ)\le 4{\Pi }_{\mathcal{H}}(2m)\exp (-\frac{m{ϵ}^2}{8})$$
  假设空间$\mathcal{H}$中不同的假设对于D中示例赋予标记的结果可能相同，也可能不同；尽管$\mathcal{H}$可能包含无穷多个假设，但其对D中示例赋予标记的可能结果数是有限的：对m个示例，最多有$2^m$个可能结果。对二分类问题来说，$\mathcal{H}$中假设对D中示例赋予标记的每种可能结果称为D的一种“对分”。若假设空间$\mathcal{H}$能实现示例集D上的所有对分，即${\Pi }_{\mathcal{H}}(m)=2^m$，则称示例集D能被假设空间$\mathcal{H}$“打散”。
• 假设空间$\mathcal{H}$的VC维是能被$\mathcal{H}$打散的最大示例集的大小，即
  $$VC(\mathcal{H})=\max \{m:{\Pi }_{\mathcal{H}}(m)=2^m\}$$
  $VC(\mathcal{H})=d$表明存在大小为d的示例集能被假设空间$\mathcal{H}$打散。注意：并不意味着所有大小为d的示例集都能被假设空间$\mathcal{H}$打散。VC维的定义与数据分布$\mathcal{D}$无关。因此，在数据分布未知时仍能计算出假设空间$\mathcal{H}$的VC维。
  通常这样来计算$\mathcal{H}$的VC维：若存在大小为d的示例集能被$\mathcal{H}$打散，但不存在任何大小为d+1的示例集能被$\mathcal{H}$打散，则$\mathcal{H}$的VC维是d。
  
  有上述定义可知，VC维与增长函数有密切联系，下式给出了二者之间的定量关系。
• 假定空间$\mathcal{H}$的VC维为d，则对任意$m\in \mathbb{N}$有
  $${\Pi }_{\mathcal{H}}(m)\le \sum _{i=0}^d\left(\begin{array}{c}m\\ i\end{array}\right)$$

证略

• 从上述可计算出增长函数的上界：若假设空间$\mathcal{H}$的VC维是d，则对任意整数$m\ge d$有
  $${\Pi }_{\mathcal{H}}(m)\le (\frac{e\cdot m}{d}{)}^d$$

并可得基于VC维的泛化误差界：

• 若假设空间$\mathcal{H}$的VC维是d，则对任意$m>d,0<\delta <1$和$h\in \mathcal{H}$有
  $$P(E(h)-\hat{E}(h)\le \sqrt{\frac{8d\ln \frac{2em}{d}+8\ln \frac{4}{\delta }}{m}})\ge 1-\delta$$

泛化误差界只与样例数目m有关，收敛速率为$O(\frac{1}{\sqrt{m}})$，与数据分布$\mathcal{D}$和样例集D无关。因此，基于VC维的泛化误差界是分布无关（distribution-free）、数据独立（data-independent）的
令h表示学习算法$\mathfrak{L}$输出的假设，若h满足
$$\hat{E}(h)=\underset{h^{\prime }\in \mathcal{H}}{\min }\hat{E}(h^{\prime })$$
则称$\mathfrak{L}$满足经验风险最小化（Empirical Risk Minimization，简称ERM）原则的算法。有以下定理：

• 任何VC维有限的假设空间$\mathcal{H}$都是（不可知）PAC可学习的

证略

五、Rademacher复杂度

基于VC维的泛化误差界是分布无关、数据独立的，也就是说，对任何数据分布都成立。这使得VC维的可学习性分析结果具有一定的“普适性”；但从另一方面来说，由于没有考虑数据自身，基于VC维得到的泛化误差界通常比较“松”，对那些与学习问题的典型情况相差甚远的较“坏”分布来说尤其如此。
Rademacher复杂度（Rademacher complexity）是另一种刻画假设空间复杂度的途径，与VC维不同的是，它在一定程度上考虑了数据分布。
给定数据集$D=\{({x\text{x}x}_1,y_1),({x\text{x}x}_2,y_2),\cdots ,({x\text{x}x}_m,y_m)\}$，假设h的经验误差为
$$\begin{array}{rl}\hat{E}(h)& =\frac{1}{m}\sum _{i=1}^m\Pi (h({x\text{x}x}_i)\ne y_i)\\ & =\frac{1}{m}\sum _{i=1}^m\frac{1-y_{i}h({x\text{x}x}_i)}{2}\\ & =\frac{1}{2}-\frac{1}{2m}\sum _{i=1}^m{y}_{i}h({x\text{x}x}_i)\end{array}$$
其中$\frac{1}{2m}{\sum }_{i=1}^m{y}_{i}h({x\text{x}x}_i)$体现了预测值$h({x\text{x}x}_i)$与真实样本标记$y_i$之间的一致性，若对于所有$i\in \{1,2,\cdots ,m\}$都有$h({x\text{x}x}_i)=y_i$，则$\frac{1}{m}{\sum }_{i=1}^m{y}_{i}h({x\text{x}x}_i)$取最大值1。也就是说，经验误差最小的假设是
$$\underset{h\in \mathcal{H}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{1}{m}\sum _{i=1}^m{y}_{i}h({x\text{x}x}_i)$$
然而，现实任务中样例的标记有时会收到噪声影响，即对某些样例$({x\text{x}x}_i,y_i)$,其$y_i$或许已受到随机因素的影响，不再是${x\text{x}x}_i$的真实标记。在此情形下，选择假设空间$\mathcal{H}$中在训练集上表现最好的假设，有时还不如选择$\mathcal{H}$中事先已考虑了随机噪声影响的假设。
考虑随机变量${\sigma }_i$，它以0.5的概率取值-1，0.5的概率取值+1，称为Rademacher随机变量。基于${\sigma }_i$可将上式重写为
$$\underset{h\in \mathcal{H}}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}h({x\text{x}x}_i)$$
考虑$\mathcal{H}$中的所有假设，对上式求期望可得
$${\mathbb{E}}_{\sigma }[\underset{h\in \mathcal{H}}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}h({x\text{x}x}_i)]$$
其中$\sigma \text{σ}\sigma =\{{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_m\}$.上式的取值范围是[0,1]，它体现了假设空间$\mathcal{H}$的表达能力，例如，当$|\mathcal{H}|=1$时，$\mathcal{H}$中仅有一个假设，这时可计算出上式得值为0；当$|\mathcal{H}|=2^m$且$\mathcal{H}$能打散D时，对任意$\sigma \text{σ}\sigma$总有一个假设使得$h({x\text{x}x}_i)={\sigma }_i(i=1,2,\cdots ,m)$,这时可计算出上式得值为1.
考虑实值函数空间$\mathcal{F}:\mathcal{Z}\to \mathbb{R}$,令$Z=\{z_1,z_2,\cdots ,z_m\}$，其中$z_i\in \mathcal{Z}$，将上式中的$\mathcal{X}$和$\mathcal{H}$替换为$\mathcal{Z}$和$\mathcal{F}$可得

• 函数空间$\mathcal{F}$关于$\mathcal{Z}$的经验Rademacher复杂度
  $${\hat{R}}_{\mathcal{Z}}(\mathcal{F})={\mathbb{E}}_{\sigma }[\underset{f\in \mathcal{F}}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}h({z\text{z}z}_i)]$$

经验Rademacher复杂度衡量了函数空间$\mathcal{F}$与随机噪声在集合$Z$中的相关性。通常希望了解函数空间$\mathcal{F}$在$\mathcal{Z}$上关于分布$\mathcal{D}$的相关性，因此，对所有从$\mathcal{D}$独立同分布采样而得的大小为m的集合Z求期望可得

• 函数空间$\mathcal{F}$关于$\mathcal{Z}$上的分布$\mathcal{D}$的Rademacher复杂度
  $$R_m(\mathcal{F})={\mathbb{E}}_{Z\subseteq \mathcal{Z}:|Z|=m}[{\hat{R}}_Z(\mathcal{F})]$$

基于Rademacher复杂度可得关于函数空间$\mathcal{F}$的泛化误差界

• 对实值函数空间$\mathcal{F}:\mathcal{Z}\to [0,1]$，根据分布$\mathcal{D}$从$\mathcal{Z}$中独立同分布采样得到示例集$Z=\{{z\text{z}z}_1,{z\text{z}z}_2,\cdots ,{z\text{z}z}_m\},{z\text{z}z}_i\in \mathcal{Z},0<\delta <1$，对任意$f\in \mathcal{F}$，以至少$1-\delta$的概率有
  $$\begin{array}{rl}& \mathbb{E}[f(z)]\le \frac{1}{m}\sum _{i=1}^{m}f(z_i)+2R_m(\mathcal{F})+\sqrt{\frac{\ln (1/\delta )}{2m}}\\ & \mathbb{E}[f(z)]\le \frac{1}{m}\sum _{i=1}^{m}f(z_i)+2{\hat{R}}_Z(\mathcal{F})+3\sqrt{\frac{\ln (1/\delta )}{2m}}\end{array}$$

证略

需注意的是，上述定理中的函数空间$\mathcal{F}$是区间[0,1]上的实值函数，因此，只适用于回归问题。对二分类问题，我们有下面的定理：

• 对假设空间$\mathcal{H}:\mathcal{X}\to \{-1,+1\}$，根据分布$\mathcal{D}$从$\mathcal{X}$中独立同分布采样得到示例集$D=\{{x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_m\},{x\text{x}x}_i\in \mathcal{X},0<\delta <1$,对任意$h\in \mathcal{H}$，以至少$1-\delta$的概率有
  $$\begin{array}{rl}& \mathbb{E}[h]\le \hat{E}(h)+R_m(\mathcal{H})+\sqrt{\frac{\ln (1/\delta )}{2m}}\\ & \mathbb{E}[h]\le \hat{E}(h)+R_D(\mathcal{H})+3\sqrt{\frac{\ln (1/\delta )}{2m}}\end{array}$$

上述定理给出了基于Rademacher复杂度的泛化误差界。基于VC维的泛化误差界是分布无关、数据独立的，而基于Rademacher复杂度的泛化误差界与分布$\mathcal{D}$有关，与数据D有关。换言之，基于Rademacher复杂度的泛化误差界依赖于具体学习问题上的数据分布，有点类似于为该学习问题“量身定制”的，因此它通常比基于VC维的泛化误差界更紧一些。
值得一提的是，关于Rademacher复杂度与增长函数，有如下定理：

• 假设空间$\mathcal{H}$的Rademacher复杂度$R_m(\mathcal{H})$与增长函数${\Pi }_{\mathcal{H}}(m)$满足
  $$R_m(\mathcal{H})\le \sqrt{\frac{2\ln {\Pi }_{\mathcal{H}}(m)}{m}}$$
  可得
  $$E(h)\le \hat{E}(h)+\sqrt{\frac{2d\ln \frac{em}{d}}{m}}+\sqrt{\frac{\ln (1/\delta )}{2m}}$$
  也就是说，从Rademacher复杂度和增长函数能推导出VC维的泛化误差界。

六、稳定性

无论是基于VC维还是Rademacher复杂度来推导泛化误差界，所得到的结果均与具体学习算法无关，对所有学习算法都适用。这使得人们能够脱离具体学习算法的设计来考虑学习问题本身的性质，但在另一方面，若希望获得与算法有关的分析结果，则需另辟蹊径。稳定性（stability） 分析是这方面一个值得关注的方向。
顾名思义，算法的“稳定性”考察的是算法在输入发生变化时，输出是否会随之发生较大变化。学习算法的输入是训练集，因此下面先定义训练集的两种变化。
给定$D=\{{z\text{z}z}_1=({x\text{x}x}_1,y_1),{z\text{z}z}_2=({x\text{x}x}_2,y_2),\cdots ,{z\text{z}z}_m=({x\text{x}x}_m,y_m)\},{x\text{x}x}_i\in \mathcal{X}$是来自分布$\mathcal{D}$的独立同分布示例，$y_i=\{-1,+1\}$。对假设空间$\mathcal{H}:\mathcal{X}\to \{-1,+1\}$和学习算法$\mathfrak{L}$，令${\mathfrak{L}}_D\in \mathcal{H}$表示基于训练集D从假设空间$\mathcal{H}$中学得的假设。考虑D的以下变化：

• $D^{/i}$表示移出D中第i个样例得到的集合
  $$D^{/i}=\{{z\text{z}z}_1,{z\text{z}z}_2,\cdots ,{z\text{z}z}_{i-1},{z\text{z}z}_{i+1},\cdots ,{z\text{z}z}_m\}$$
• $D^i$表示替换D中第i个样例得到的集合
  $$D^i=\{{z\text{z}z}_1,{z\text{z}z}_2,\cdots ,{z\text{z}z}_{i-1},{z\text{z}z}_i^{\prime },{z\text{z}z}_{i+1},\cdots ,{z\text{z}z}_m\}$$
  其中${z\text{z}z}_i^{\prime }=({x\text{x}x}_i^{\prime },y_i^{\prime }),{x\text{x}x}_i^{\prime }$服从分布$\mathcal{D}$并独立于D

损失函数$\ell ({\mathfrak{L}}_D(x\text{x}x),y):\mathcal{Y}\times \mathcal{Y}\to {\mathbb{R}}^{+}$刻画了假设${\mathfrak{L}}_D$的预测标记${\mathfrak{L}}_D(x\text{x}x)$与真实标记y之间的差距，简记为$\ell ({\mathfrak{L}}_D,z\text{z}z)$。下面定义关于假设${\mathfrak{L}}_D$的几种损失。

• 泛化损失
  $${\mathfrak{L}}_D(x\text{x}x)={\mathbb{E}}_{x\in \mathcal{X},z=(x,y)}[\ell ({\mathfrak{L}}_D,z\text{z}z)]$$

• 经验损失
  $$\hat{\ell }(\mathfrak{L},D)=\frac{1}{m}\sum _{i=1}^m\ell ({\mathfrak{L}}_D,{z\text{z}z}_i)$$

• 留一（leave-one-out）损失
  $${\ell }_{loo}(\mathfrak{L},D)=\frac{1}{m}\sum _{i=1}^m\ell ({\mathfrak{L}}_{D^{/i}},{z\text{z}z}_i)$$
  下面定义算法的均匀稳定性（uniform stability）

• 对任何$x\text{x}x\in \mathcal{X},z\text{z}z=(x\text{x}x,y)$，若学习算法$\mathfrak{L}$满足
  $$|\ell ({\mathfrak{L}}_D,z\text{z}z)-\ell ({\mathfrak{L}}_{D^{/i}},z\text{z}z)|\le \beta ,i=1,2,\cdots ,m$$
  则称$\mathfrak{L}$关于损失函数$\ell$满足$\beta$-均匀稳定性

显然，若算法$\mathfrak{L}$关于损失函数$\ell$满足$\beta$-均匀稳定性则有
$$\begin{array}{rl}& |\ell ({\mathfrak{L}}_D,z\text{z}z)-\ell ({\mathfrak{L}}_{D^i},z\text{z}z)|\\ \le & |\ell ({\mathfrak{L}}_D,z\text{z}z)-\ell ({\mathfrak{L}}_{D^{/i}},z\text{z}z)|+|\ell ({\mathfrak{L}}_{D^i},z\text{z}z)-\ell ({\mathfrak{L}}_{D^{/i}},z\text{z}z)|\\ \le & 2\beta \end{array}$$
就是说，移出示例的稳定性包含替换示例的稳定性
若损失函数$\ell$有界，即对所有D和$z\text{z}z=(x\text{x}x,y)$有$0\le \ell ({\mathfrak{L}}_D,z\text{z}z)\le M$，则有

• 给定从分布$\mathcal{D}$上独立同分布采样得到的大小为m的示例集D，若学习算法$\mathfrak{L}$满足关于损失函数$\ell$的$\beta$-均匀稳定性，且损失函数$\ell$的上界为M，$0<\delta <1$，则对任意$m\ge 1$，以至少$1-\delta$的概率有
  $$\begin{array}{rl}& \ell (\mathfrak{L},D)\le \hat{\ell }(\mathfrak{L},D)+2\beta +(4m\beta +M)\sqrt{\frac{\ln (1/\delta )}{2m}}\\ & \ell (\mathfrak{L},D)\le {\ell }_{loo}(\mathfrak{L},D)+\beta +(4m\beta +M)\sqrt{\frac{\ln (1/\delta )}{2m}}\end{array}$$
  上述给出了基于稳定性分布推导出的学习算法$\mathfrak{L}$学得假设的泛化误差界。可看出，经验损失与泛化损失之间差别的收敛率为$\beta \sqrt{m}$；若$\beta =O(\frac{1}{m})$，则可保证收敛率为$O(\frac{1}{\sqrt{m}})$。这与基于VC维和Rademacher复杂度得到的收敛率一致。
  需注意，学习算法的稳定性分析所关注的是$|\hat{\ell }(\mathfrak{L},D)-\ell (\mathfrak{L},D)|$，而假设空间复杂度分析所关注的是${\sup }_{h\in \mathcal{H}}|\hat{E}(h)-E(h)|$；也就是说，稳定性分析不必考虑假设空间中所有可能的假设，只需根据算法自身的特性（稳定性）来讨论输出假设$\mathfrak{L}$的泛化误差界，那么，稳定性与可学习性之间有什么关系呢？
  首先，必须假设$\beta \sqrt{m}\to 0$，这样才能保证稳定的学习算法$\mathfrak{L}$具有一定的泛化能力，即经验损失收敛于泛化损失，否则可学习性无从谈起。为了便于计算，我们假定$\beta =\frac{1}{m}$，代入可得
  $$\ell (\mathfrak{L},D)\le \hat{\ell }(\mathfrak{L},D)+\frac{2}{m}+(4+M)\sqrt{\frac{\ln (1/\delta )}{2m}}$$

对损失函数$\ell$，若学习算法$\mathfrak{L}$所输出的假设满足经验损失最小化，则称算法$\mathfrak{L}$满足经验风险最小化（Empirical Risk Minimization）原则，简称算法是ERM的。关于学习算法的稳定性和可学习性，有如下定理：

• 若学习算法$\mathfrak{L}$是ERM且稳定的，则假设空间$\mathcal{H}$可学习。

证略