绪论和模型评估与选择

No Free Lunch Theorem证明

这里的公式出现在书的第8页，为简化版的NFL，令$P(h|x,{\epsilon }_a)$代表算法${\epsilon }_a$基于训练数据集$X$产生假设$h$的概率，令$f$表示真实的目标函数，$A$表示样本空间，则${\epsilon }_a$的训练集外误差为：
$$E_{ote}({\epsilon }_a|x,f)=\sum _h\sum _{x\in A-X}P(x)\ell (h(x)\ne f(x))P(h|x,{\epsilon }_a)$$
上式中，$\ell (h(x)\ne f(x))$表示当$h(x)\ne f(x)$时，该值为1，否则该值为0,；上式实际上求得是期望，之所以加入$P(h|x,{\epsilon }_a)$是因为使用相同的训练算法可能产生不同的训练结果。
对于二分类问题，假设真实的目标函数$f$可以是映射到{0,1}的任何函数，且函数空间为$\{{0,1\}}^{|A|}$，则对所有可能的$f$按均匀分布对误差求和，可得：
$$\begin{gathered} \sum _f{E}_{ote}(P({\epsilon }_a|x,f)=\sum _f\sum _h\sum _{x\in A-X}P(x)\ell (h(x)\ne f(x))P(h|x,{\epsilon }_a) \\ =\sum _{x\in A-X}P(x)\sum _{h}P(h|x,{\epsilon }_a)\sum _f\ell (h(x)\ne f(x)) \end{gathered}$$
由于目标函数可以是映射到{0,1}的任何函数，且函数空间为$\{{0,1\}}^{|A|}$，因此$f$共有$2^{|A|}$种；$f$呈现均匀分布，即当$h(x)$为0或1时，$f$均有1/2的概率和$h(x)$不相等，故当$x$的值确定时,${\sum }_f\ell (h(x)\ne f(x))$的值总是为$\frac{1}{2}\cdot 2^{|A|}=2^{|A|-1}$, 此时原式变为
$$2^{|A|-1}\sum _{x\in A-X}P(x)\sum _{h}P(h|x,{\epsilon }_a)$$
由条件概率的性质可知, 当$x$确定时,${\sum }_{h}P(h|x,{\epsilon }_a)=1$,此时原式变为
$$2^{|A|-1}\sum _{x\in A-X}P(x)$$
至此简化版的NFL证明完毕, 该定理的寓意为脱离具体问题,空泛的谈论"什么学习算法更优"毫无意义. 至于
$$\begin{gathered} \sum _f\sum _h\sum _{x\in A-X}P(x)\ell (h(x)\ne f(x))P(h|x,{\epsilon }_a) \\ =\sum _{x\in A-X}P(x)\sum _{h}P(h|x,{\epsilon }_a)\sum _f\ell (h(x)\ne f(x)) \end{gathered}$$
主要运用了分配律,将该问题简化后,于${\sum }_a{\sum }_{b}f(a,b)f(a)={\sum }_{a}f(a){\sum }_{b}f(a,b)$原理一致.

泛化性能度量函数后的NFL

该部分是将原来的$\ell (h(x)\ne f(x))$替换为$\ell (h(x),f(x))$, 差别在于原先的性能度量为"分类误差率", 改变后可以是任意的度量函数.
在开始证明之前,假设$\ell$满足两个性质,预测正确时$\ell (x,y)$的值一样, 预测错误时$\ell x,y$的值也相等, 即对于二分类问题, 满足$\ell (0,0)=\ell (1,1);\ell (0,1)=\ell (1,0)$. 此时
$$E_{ote}({\epsilon }_a|x,f)=\sum _{x\in A-X}P(x)\sum _{h}P(h|x,{\epsilon }_a)\sum _f\ell (h(x),f(x))$$
该问题的关键在于计算当$x$和$h$确定时,${\sum }_f\ell (h(x),f(x))$的值.
对于$h(x)$只有两种取值:
当$h(x)=1$时,${\sum }_f\ell (h(x),f(x))=\frac{1}{2}\cdot 2^{|A|}\ell (1,0)+\frac{1}{2}\cdot 2^{|A|}\ell (1,1)$
当$h(x)=0$时,${\sum }_f\ell (h(x),f(x))=\frac{1}{2}\cdot 2^{|A|}\ell (0,0)+\frac{1}{2}\cdot 2^{|A|}\ell (0,1)$
由假设可知:当$h(x)=0$时与$h(x)=1$时的${\sum }_f\ell (h(x),f(x))$值相等, 故可以认为,${\sum }_f\ell (h(x),f(x))$恒为$\frac{1}{2}\cdot 2^{|A|}\ell (1,0)+\frac{1}{2}\cdot 2^{|A|}\ell (1,1)$, 则原式为:
$$E_{ote}({\epsilon }_a|x,f)=\frac{1}{2}\cdot 2^{|A|}\ell ((1,0)+\ell (1,1))\sum _{x\in A-X}P(x)$$
可以看出即使泛化性能度量函数, $E_{ote}$仍然和学习算法无关

AUC和$l_{rank}$的关系

$AUC=\frac{1}{2}{\sum }_{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})$, $lrank=\frac{1}{m^{+}{m}^{-}}{\sum }_{x^{+}\in D^{+}}{\sum }_{x^{-}\in D^{-}}(\ell (f(x^{+})<f(x^{-}))+\frac{1}{2}\ell (f(x^{+})=f(x^{-})))$
其中$\ell (x)$表示的是指示函数,当$x$为真时,$\ell (x)=1$, 否则为0. 试证明AUC=1-$l_{rank}$
证明:由ROC的绘制过程可知, 当存在$m^{+}$个正例和$m^{-}$个反例时,坐标由起点(0, 0)开始,共需横向移动$m^{-}$次,每次移动$\frac{1}{m^{-}}$, 纵向移动$m^{+}$次,每次移动$\frac{1}{m^{+}}$. 观察AUC图像可以发现, 纵向移动时, AUC面积不发生改变, 故以横向移动为切入点进行证明.
设第$y_1+1$次横向移动前, 坐标位于$(\frac{x_1}{m^{-}},\frac{y_1}{m^{+}})$, 可以看出, 此时阈值移动到第$x_1+y_1$位, 当完成第$y_1+1$次横向移动后, 坐标变为$(\frac{x_1+1}{m^{-}},\frac{y_1}{m^{+}})$, 此时$AU{C}_a=\frac{1}{m^{-}}\frac{y_1}{m^{+}}$,其中$AU{C}_a$表示的是第a(此时a=$y_1+1$)次横向移动贡献的增加量.$l^{{}^{\prime }}rank=\frac{1}{m^{+}{m}^{-}}{\sum }_{x^{+}\in D^{+}}(\ell (f(x^{+})<f(x_1+y_1+1))+\frac{1}{2}\ell (f(x^{+})=f(x_1+y_1+1)))$, 其中$l^{{}^{\prime }}rank$表示第$x_1+y_1+1$个数据为$l_{rank}$贡献的增加量. 由于共有$m^{+}$个正例,而现在的坐标为$(\frac{x_1+1}{m^{-}},\frac{y_1}{m^{+}})$,说明有$y_1$个正例排在该反例的前面,故排在该反例后面的正例有$m^{+}-y_1$个,则$l^{{}^{\prime }}rank=\frac{1}{m^{+}{m}^{-}}(m^{+}-y_1)$,$AU{C}_a+l^{{}^{\prime }}rank=\frac{1}{m^{-}}$
对于AUC, 由于纵向移动不改变值, 故$AUC={\sum }_{a\in D^{-}}AU{C}_a$, 对于$lrank$有
$$\begin{gathered} lrank=\frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}(\ell (f(x^{+})<f(x^{-}))+\frac{1}{2}\ell (f(x^{+})=f(x^{-}))) \\ =\frac{1}{m^{+}{m}^{-}}\sum _{x^{-}\in D^{-}}\sum _{x^{+}\in D^{+}}(\ell (f(x^{+})<f(x^{-}))+\frac{1}{2}\ell (f(x^{+})=f(x^{-}))) \\ =\sum _{x^{-}\in D^{-}}{l}^{{}^{\prime }}rank \end{gathered}$$
则$AUC+lrank={\sum }_{a\in D^{-}}AU{C}_a+{\sum }_{x^{-}\in D^{-}}{l}^{{}^{\prime }}rank={\sum }_{a\in D^{-}}(AU{C}_a+l^{{}^{\prime }}rank)={\sum }_{a\in D^{-}}\frac{1}{m^{-}}=1$
值得注意的是,此处没有考虑$lrank$中出现的相等的情况, 当出现相等情况的时候, 坐标不在是横向或者纵向移动, 而是沿对角线移动, 分析时原理和上述分析一致, 因此不再单独证明.

泛化错误率和测试错误率

该问题出现在书中的38页, 问题为:假设泛化错误率为$ϵ$的学习器在一个样本上犯错的概率是$ϵ$;测试错误率为$\widehat{ϵ}$意味着在m个测试样本中恰有$\widehat{ϵ}\times m$个被误分类. 当测试样本是从样本总体分布中独立采样而得, 则泛化错误率为$ϵ$的学习器被测得测试错误率为$\widehat{ϵ}$的概率为:$P(\widehat{ϵ};ϵ)=C_m^{\widehat{ϵ}\times m}{ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$, 此时当给定测试错误率时,试证明在$ϵ=\widehat{ϵ}$时,$P(\widehat{ϵ};ϵ)$最大.
证明:首先对于$P(\widehat{ϵ};ϵ)$公式, 此处不展开推导, 该公式的推导用到了组合数学的内容, 相对较为简单.
为书写方便, 首先令$\widehat{ϵ}\times m=m^{{}^{\prime }}$
将$P(\widehat{ϵ};ϵ)$对$ϵ$求偏导可得:
$$\frac{\partial P(\widehat{ϵ};ϵ)}{\partial ϵ}=m^{{}^{\prime }}{ϵ}^{m^{{}^{\prime }}-1}{(1-ϵ)}^{m-m^{{}^{\prime }}}+(m^{{}^{\prime }}-m){ϵ}^{m^{{}^{\prime }}}{(1-ϵ)}^{m-m^{{}^{\prime }}-1}$$
注,由于$C_m^{\widehat{ϵ}\times m}$不包含$ϵ$, 故为常量, 为方便书写, 上式求偏导时选择将$C_m^{\widehat{ϵ}\times m}$忽略.
由于$ϵ>0$, 故${ϵ}^{m^{{}^{\prime }}-1}$和${(1-ϵ)}^{m-m^{{}^{\prime }}-1}$不为0, 此时令$\frac{\partial P(\widehat{ϵ};ϵ)}{\partial ϵ}=0$, 并且将上式两边同除以${ϵ}^{m^{{}^{\prime }}-1}{(1-ϵ)}^{m-m^{{}^{\prime }}-1}$可得:
$$\begin{gathered} m^{{}^{\prime }}(1-ϵ)+(m^{{}^{\prime }}-m)ϵ=0 \\ ϵ=\frac{m^{{}^{\prime }}}{m} \\ ϵ=\widehat{ϵ} \end{gathered}$$
由于$P(\widehat{ϵ};ϵ)=0$只包含一个零点, 因此极值点就等于最值点, 所以$ϵ=\widehat{ϵ}$时,$P(\widehat{ϵ};ϵ)$最大.