机器学习著名定理之—No Free Lunch定理详解

No Free Lunch定理

定理（No Free Lunch）: 假定$\mathcal{A}$是一个在域$\mathcal{X}$的二分类任务中任意一个机器学习算法，其损失函数为$0\text{-}1$损失。令$n$是一个大小为$|\mathcal{X}|/2$的训练集，存在域$\mathcal{X}$中的分布$\mathcal{D}$，则有
（1）存在一个函数$f:\mathcal{X}\to \{0,1\}$，且有$L_{\mathcal{D}}(f)=0$。
（2）对于子列${\mathcal{S}\sim \mathcal{D}}^n$，则概率不等式$P(L_{\mathcal{D}}(\mathcal{A}(\mathcal{S}))\ge 1/8:\mathcal{S}\sim {\mathcal{D}}^n)\ge 1/7$成立。

证明：
（1） 令$\mathcal{C}$表示域$\mathcal{X}$中大小为$2n$的一个子集。主要的证明思路是只利用数据集$\mathcal{C}$一半的数据样本点并不能给出剩下一半数据点的信息。 假定$\mathcal{H}$表示数据集$\mathcal{C}$到标签集合$\{0,1\}$所有可能的函数集合，且$T$表示的是函数集合的基数，其中$\mathcal{H}=\{f_1,\cdots ,f_T\}$，$T=2^{2n}$。对于$\mathcal{H}$中每一个函数假设，令${\mathcal{D}}_i$是$\mathcal{C}\times \{0,1\}$中的分布$${\mathcal{D}}_i(\{(x,y)\})=\{\begin{array}{ll}1/2m& \mathrm{i}\mathrm{f}y=f_i(x)\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$进而可知存在函数$f_i$，在数据分布${\mathcal{D}}_i$上则有$L_{{\mathcal{D}}_i}(f_i)=0$。
（2）主要证明的关键在于即对任意的学习算法$\mathcal{A}$有$$\underset{i\in [T]}{\max }{\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]\ge 1/4$$首先从$\mathcal{C}\times \{0,1\}$中采样出$n$个样本构造一个训练集，其中采样出的样本可以重复，进而可知有$k=(2n{)}^n$中可能的样本序列。令这些样本序列分别表示为${\mathcal{S}}_1,{\mathcal{S}}_2,\cdots ,{\mathcal{S}}_k$。${\mathcal{S}}_j^i=((x_1,f_i(x_1)),\cdots ,(x_n,f_i(x_n)))$表示的是函数$f_j$在样本序列$S_j$中的数据集合，则有$${\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]=\frac{1}{k}\sum _{j=1}^k{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))$$又因为$"\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{i}\mathrm{m}\mathrm{u}\mathrm{m}"\ge "\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{g}\mathrm{e}"\ge "\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{m}\mathrm{u}\mathrm{m}"$，所以则有$$\begin{array}{rl}\underset{i\in [T]}{\max }\frac{1}{T}\sum _{j=1}^k{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))& \ge \frac{1}{T}\sum _{i=1}^T\frac{1}{k}\sum _{j=1}^k{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))\\ & =\frac{1}{k}\sum _{j=1}^k\frac{1}{T}\sum _{i=1}^T{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))\\ & \ge \underset{j\in [k]}{\min }\frac{1}{T}\sum _{i=1}^T{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))\end{array}$$现固定$j\in [k]$，令${\mathcal{S}}_j=\{x_1,\cdots ,x_n\}$，$C\backslash {\mathcal{S}}_j=\{v_1,\cdots ,v_p\}$，其中$p\ge n$是剩余没有采样的样本数。对于每一个函数$h:C\to \{0,1\}$，$i\in [T]$有$$\begin{array}{rl}{L}_{{\mathcal{D}}_i}(h)& =\frac{1}{2n}\sum _{x\in C}\mathbb{I}(h(x)\ne f_i(x))\\ & =\frac{1}{2n}\left(\sum _{l=1}^n\mathbb{I}(h(x_l)\ne f_i(x_l))+\sum _{r=1}^p\mathbb{I}(h(v_r)\ne f_i(v_r))\right)\\ & \ge \frac{1}{2n}\sum _{r=1}^p\mathbb{I}(h(v_r)\ne f_i(v_r))\\ & \ge \frac{1}{2p}\sum _{r=1}^p\mathbb{I}(h(v_r)\ne f_i(v_r))\end{array}$$所以$$\begin{array}{rl}\frac{1}{T}\sum _{i=1}^T{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))& \ge \frac{1}{T}\sum _{i=1}^T\frac{1}{2p}\sum _{r=1}^p\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_i(v_r))\\ & =\frac{1}{2p}\sum _{r=1}^p\frac{1}{T}\sum _{i=1}^T\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_i(v_r))\\ & \ge \frac{1}{2}\underset{r\in [p]}{\min }\frac{1}{T}\sum _{i=1}^T\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_i(v_r))\end{array}$$对于给定的$r\in [p]$，因为$T$是所有可能函数映射的基数，所以总有成对存在的$a,b\in [T]$有$$\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_a(v_r))+\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_b(v_r))=1$$进而则有$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]& =e\frac{1}{T}\sum _{i=1}^T{L}_{{\mathcal{D}}_i}(\mathcal{A}({\mathcal{S}}_j^i))\\ & \ge \frac{1}{2}\underset{r\in [p]}{\min }\frac{1}{T}\sum _{i=1}^T\mathbb{I}(\mathcal{A}({\mathcal{S}}_j^i)(v_r)\ne f_i(v_r))\\ & =\frac{1}{2}\cdot \frac{1}{T}\cdot \frac{T}{2}=\frac{1}{4}\end{array}$$根据马尔可夫不等式的修改版可知，给定一个随机变量$X\in [0,1]$，给定一个常数$a\in [0,1]$，进而则有$$\begin{array}{rl}\mathbb{E}[X]& ={\int }_0^{1}xp(x)dx\\ & ={\int }_0^{a}xp(x)dx+{\int }_a^{1}xp(x)dx\\ & \le a{\int }_0^{a}p(x)dx+{\int }_a^{1}p(x)dx\\ & =a(1-p\{X\ge a\})+p\{X\ge a\}\\ & =a+(1-a)P\{X\ge a\}\end{array}$$马尔可夫不等式为$$P\{X\ge a\}\ge \frac{\mathbb{E}[X]-a}{1-a}$$利用马尔可夫不等可知$$\begin{array}{rl}P(L_{\mathcal{D}}(\mathcal{A}(\mathcal{S}))\ge 1/8:\mathcal{S}\sim {\mathcal{D}}^n)& =\frac{{\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]-1/8}{1-1/8}\\ & \ge \frac{1/4-1/8}{1-1/8}=\frac{1}{7}\end{array}$$