机器学习 李宏毅 L38-Ensemble

Ensemble之bagging

对于较复杂的模型,其模型可能会造成较大的variance,因此可以通过多个模型进行平均或者投票,得到variance较小的总体模型,如下图所示。


一个容易overfit的模型是决策树,decision tree。而random forest是决策树进行bagging的版本。

Ensemble之boosting

boosting可以用于提升较弱classifier的性能。boosting利用不同的classifier进行互补,从而增强单个classifier的性能。

对于数据集,可以采用对于数据集赋予不同的权重,从而保证数据集能够被合理利用。
boosting中较为经典的方法为adaboost。其思想为,对于一个训练好的模型,通过调整权重 un u n ,从而保证其误差率等于0.5如下图所示。

Reweight的方法如下图所示,对于分类错误的数据权重进行提高,乘以 d1 d 1 ;对于分类正确的数据权重降低,除以 d1 d 1 。最终保证错误率为0.5,最终可以计算得到一个很简单的d。adaboost算法如下所示,

经过上述训练过程,可以得到一组classifier,对于这些分类器可以采用下列的方法进行emsemble。可以证明,随着分类器个数的增加,总体的分类误差会越来越小。

adaboost分类器存在一个现象,随着训练次数的增加,训练误差为0,但是testing data的误差率可以继续下降。

Ensemble之Stacking

2018年2月10日

你可能感兴趣的:(机器学习)