台湾国立大学机器学习基石.听课笔记(第十五讲):validation

台湾国立大学机器学习基石.听课笔记(第十五讲)
:validation

1,模型选择的问题(Model selection problem)

我们在前面的10几讲中已经学到很多算法的模型,那我们在给出一个实际问题后,怎么选择模型呢?


在实际情况中,很容易出现过拟合(overfitting)和计算量过大的问题,

所以如何选择A_m和E_in是我们现在要解决的问题。


我们就想出找出一个D_(test),在测试集中找出最好的E_(test),但是D_(test)我们在做实验时真的能找出么?


台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第1张图片

正是因为E_(in)是从A_m的训练集得出的,A_m和E_(in)的测试集和训练集都来自于同一个训练集,所以算出的结果不是很好。

而E_(test)来自训练集D_(test),A_m和D_(test)是来自于不同的集合,但是D_(test)的寻找依然是一个问题,那我们能不能择中的选取一个方法呢?

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第2张图片

2,Validation(验证)

那D_(val)到底是是怎样的,该如何选取呢??

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第3张图片

那我们能不能把E_(g^-_m)与E_(g)联系起来呢?

先来想想他们之间的区别,g^-_m的训练集是D_(test),测试集是D_(val);而E_(g)的训练集和测试集都是D,但是D与D_(test)、D_(val)都是独立同分布,那我求出来的

E_(out)(g^-_m)应该与E_(out)(g)有一定的关系:

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第4张图片

各个E之间的关系根据K的不同,我们绘制一下图片:


那么我们如何选取K呢?

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第5张图片 台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第6张图片

3,        Leave-one-out Cross Validation

既然E_out(g)与E_(out)(g^-)很接近的条件是K要很小,那么当K=1时,我们定义


台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第7张图片

那么E_(looce)(H,A)与E_(out)(g)有啥关系呢?

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第8张图片

我们用数字识别的例子来举例说明,当:

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第9张图片

所以我们可以用E_(loocv)(H,A)可以近视E_in.

4,V—FoldCross Validation

我们刚才说了Leave-one-out Cross Validation的优点,那他在实际应用中他有什么缺陷呢?

第一点,     计算复杂度大大增加;

第二点,     稳定性


所以:

那么我们要怎么改进呢?


所以我们一般选取:

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第10张图片

Validation的优点是:



总结

台湾国立大学机器学习基石.听课笔记(第十五讲):validation_第11张图片





你可能感兴趣的:(机器学习,听课笔记,台湾国立大学机器学习基石)