机器学习笔记-第二章模型评估与选择2

本节默认以错误率为性能度量，用$ϵ$表示。

比较检验

1 假设检验

泛化错误率$ϵ$：在一个样本上犯错的概率是$ϵ$。
测试错误率$\widehat{ϵ}$：在$m$个测试样本中恰有$\widehat{ϵ}\times m$个被误分类。

泛化错误率为$ϵ$的学习器将其中$m^{\prime }$个样本误分类、其余样本全部分类正确的概率是${ϵ}^{m^{\prime }}(1-ϵ{)}^{m-m^{\prime }}$。
将$\widehat{ϵ}\times m$个样本误分类的概率为：（在包含$m$个样本的测试集上，泛化错误率为$ϵ$学习器被测得测试错误率为$\widehat{ϵ}$的概率）
$$P(\widehat{ϵ};ϵ)=\left(\begin{array}{c}m\\ \widehat{ϵ}\times m\end{array}\right){ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$$

2 交叉验证$t$检验

3 McNemar检验

4 Friedman检验与Nemenyi后续检验

偏差与方差