集成学习

集成学习的两大流派

1. Boosting

通过将弱学习器提升为强学习器的集成方法来提高预测精度,典型算法为AdaBoosst,GBDT

2. Bagging (bootstrap aggregation)

通过自助采样的方法生成众多并行式的分类器,通过“少数服从多数”的原则来确定最终的结果,典型算法为随机森林

Adaboost,GDBT,XGBoost的对比

  • Adaboost的基本思想是提高前一轮弱分类错误分类样本的权重,降低正确分类样本的权重
  • GDBT是由boosting Tree演变过来的,而boosting Tree可以认为是Adaboost的一般方法,它的关键点就是利用损失函数的负梯度去模拟(代替)残差,这样对于一般的损失函数,只要其一阶可导就行
  • XGBoost则对损失函数进行了二姐泰勒展开,同时用到了一阶和二阶导数

你可能感兴趣的:(集成学习)