二项检验

西瓜书2.4节提到了二项检验，看不太懂。参考网上其他人的想法后，记录一下自己的理解。
以下内容也包含着自己对假设检验的理解。

检验原理

对于一个学习器的泛化错误率$ϵ$,我们做出一个猜想（假设）：$ϵ\le {ϵ}_0$。

那么如何知道这个猜想对不对呢？假如我们已知$ϵ$的值，那么只需将$ϵ$与${ϵ}_0$比大小就能得知猜想是否正确。但问题是，一个学习器的泛化错误率并不能事先得到。我们只能得到这个学习器的测试错误率$\widehat{ϵ}$。

虽然$ϵ$未知，但我们可以用$\widehat{ϵ}$检验我们的猜想。这是因为$\widehat{ϵ}$在一定程度上反应了$ϵ$的大小。西瓜书上给出这两者的联合概率质量函数$$P(\widehat{ϵ};ϵ)=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}\ast m}\right){ϵ}^{\widehat{ϵ}\ast m}(1-ϵ{)}^{m-\widehat{ϵ}\ast m}$$由此我们可以证明出$\widehat{ϵ}$是$ϵ$的无偏估计，证明在这。这就说明，如果$ϵ\le {ϵ}_0$，那么$\widehat{ϵ}$在大概率上也小于${ϵ}_0$，而在小概率上远大于${ϵ}_0$。

假设检验的基本原理是小概率原理，即“概率很小的事件在一次试验中可认为几乎不会发生”。因此，如果“$\widehat{ϵ}$远大于${ϵ}_0$”这个小概率事件发生，我们就认为假设不对。但问题是，$\widehat{ϵ}$需要大于多少我们才能怀疑我们的假设不对?

形式化的来说，当$P\{\widehat{ϵ}\ge \overline{ϵ}|ϵ\le {ϵ}_0\}<\alpha$，这个小概率事件($\alpha$很小，通常为0.1,0.05)发生时，我们拒绝假设"$H_0:ϵ\le {ϵ}_0$"。那么现在只要求出$\overline{ϵ}$，我们就能用$\widehat{ϵ}$与$\overline{ϵ}$比大小，确定猜想是否正确。

$\overline{ϵ}$的计算

$\overline{ϵ}$的计算过程应该能反应出$ϵ\le {ϵ}_0$这一猜想。为了求出这个边界，我们可以求$ϵ={ϵ}_0$所对应的$\overline{ϵ}$。因为这样求出的$\overline{ϵ}$，$\{\widehat{ϵ}\ge \overline{ϵ}\}$对$ϵ={ϵ}_0$来说是一个小概率事件，那么对$ϵ\le {ϵ}_0$更是一个小概率事件。

这样$\overline{ϵ}$可由以下公式算出
$$\begin{gathered} \overline{ϵ}=\min \widehat{ϵ} \\ s.t.\sum _{i=\widehat{ϵ}\ast m+1}^m\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}_0^i(1-{ϵ}_0{)}^{m-i}<\alpha \end{gathered}$$

注意此处的$\min$在书中为$\max$，不过在《机器学习》上已经更正。

$\widehat{ϵ}$无偏估计证明

$$\begin{gathered} \begin{array}{rl}\because P(\widehat{ϵ};ϵ)& =\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}\ast m}\right){ϵ}^{\widehat{ϵ}\ast m}(1-ϵ{)}^{m-\widehat{ϵ}\ast m}\\ \therefore E(\widehat{ϵ})& =\sum _{i=0}^m\widehat{ϵ}P(\widehat{ϵ};ϵ)\\ & =\frac{1}{m}\sum _{i=0}^{m}i\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}^i(1-ϵ{)}^{m-i}\\ & =\frac{1}{m}\sum _{i=1}^{m}mϵ\left(\genfrac{}{}{0ex}{}{m-1}{i-1}\right){ϵ}^{i-1}(1-ϵ{)}^{m-i}\\ & =ϵ\sum _{i=1}^m\left(\genfrac{}{}{0ex}{}{m-1}{i-1}\right){ϵ}^{i-1}(1-ϵ{)}^{(m-1)-(i-1)}\\ & =ϵ[ϵ+(1-ϵ){]}^{m-1}=ϵ\end{array} \\ \therefore \widehat{ϵ}是ϵ的无偏估计 \end{gathered}$$