机器学习笔记-第二章模型评估与选择2

本节默认以错误率为性能度量,用 ϵ \epsilon ϵ表示。

比较检验

1 假设检验

泛化错误率 ϵ \epsilon ϵ:在一个样本上犯错的概率是 ϵ \epsilon ϵ
测试错误率 ϵ ^ \hat{\epsilon} ϵ^:在 m m m个测试样本中恰有 ϵ ^ × m \hat{\epsilon}\times m ϵ^×m个被误分类。

泛化错误率为 ϵ \epsilon ϵ的学习器将其中 m ′ m' m个样本误分类、其余样本全部分类正确的概率是 ϵ m ′ ( 1 − ϵ ) m − m ′ \epsilon^{m'}(1-\epsilon)^{m-m'} ϵm(1ϵ)mm
ϵ ^ × m \hat{\epsilon}\times m ϵ^×m个样本误分类的概率为:(在包含 m m m个样本的测试集上,泛化错误率为 ϵ \epsilon ϵ学习器被测得测试错误率为 ϵ ^ \hat{\epsilon} ϵ^的概率)
P ( ϵ ^ ; ϵ ) = ( m ϵ ^ × m ) ϵ ϵ ^ × m ( 1 − ϵ ) m − ϵ ^ × m P(\hat{\epsilon};\epsilon)=\left( \begin{array}{c} m \\ \hat{\epsilon}\times m \end{array} \right)\epsilon^{\hat{\epsilon}\times m}(1-\epsilon)^{m-\hat{\epsilon}\times m} P(ϵ^;ϵ)=(mϵ^×m)ϵϵ^×m(1ϵ)mϵ^×m
机器学习笔记-第二章模型评估与选择2_第1张图片机器学习笔记-第二章模型评估与选择2_第2张图片机器学习笔记-第二章模型评估与选择2_第3张图片机器学习笔记-第二章模型评估与选择2_第4张图片

2 交叉验证 t t t检验
3 McNemar检验
4 Friedman检验与Nemenyi后续检验

偏差与方差

你可能感兴趣的:(机器学习)