Model selection, 模型评价之AIC, AIC(c), BIC

AIC是BIC中,当训练数据的元素个数T=e2,即log(T)=2时的特殊情况,即BIC是在AIC的基础上考虑了数据个数的广义表达式;AICc也是考虑了数据个数的广义表达式。

所以当训练模型所用的数据个数相同时,三种准则对不同模型的优选结果相同,只是相对数值会有不同;当不需要使用结果数值来加权,只是对模型排序优选时,用任一种准则都是与其他准则等价的。

当训练数据个数不等,例如比较周序列和日序列的同一种模型时,用BIC和AICc更好些,因为考虑数据个数的准则优选出的模型更可能避免过拟合,更适合于比较那些需要更多数据的多参数模型,例如基于树的集成类模型和神经网络等。

Model selection, 模型评价之AIC, AIC(c), BIC_第1张图片
参考文献:
https://otexts.com/fpp2/selecting-predictors.html#selecting-predictors
https://otexts.com/fpp2/estimation-and-model-selection.html

你可能感兴趣的:(回归分析,数学基础,机器学习,模型评价,AIC,BIC,AICc)