【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection

在训练集上有个好的效果不见得在测试集中效果就好,因为可能存在过拟合(over-fitting)的问题。

如果训练集的数据质量很好,那我们只需对这些有效数据训练处一堆模型,或者对一个模型给定系列的参数值,然后再根据测试集进行验证,选择效果最好的即可;

大多数情况下,数据集大小是有限的或质量不高,那么需要有个第三测试集,用于测试选中的模型的评估。

为了构建好的模型,我们常常选用其中质量较高的数据拿来训练,这就存在一个问题就是测试集的数据质量变低,导致预测的效果由于noisy而导致性能较差。

这种解决方案就是用交叉验证(cross-validation )。

【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection_第1张图片

交叉验证主要的缺陷在于计算量变大了,而且你还要确定一个参数s,即折数。而且它还会带来许多复杂的参数设定,对于一个模型。因为要对许多参数和模型的类型进行比较,因此,我们需要找出一个性能衡量的标准——仅仅取决于训练集,并且也不受过拟合的影响。

赤池信息量准则英语:Akaike information criterion,简称AIC)是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性(英语:Goodness of Fit,白话:合身的程度)的一种标准,是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在信息熵的概念基础上。

NewImage

NewImage表示似然函数,M表示模型中的可调整的参数个数。

类似的指标还有Bayesian information criterion, or BIC 

转载于:https://www.cnblogs.com/XBWer/p/4580929.html

你可能感兴趣的:(【PRML读书笔记-Chapter1-Introduction】1.3 Model Selection)