rf，gbdt，xgboost，lightgbm对比

 

gbdt和rf区别

Random Forest：

bagging 的关键是重复的对经过bootstrapped采样来的观测集子集进行拟合。然后求平均。一个bagged tree充分利用近2/3的样本集。所以就有了OOB预估(outof bag estimation)

随机森林由很多棵不同的决策树构成，对于一个给定的预测对象，每棵决策树都输出一个label，最后采取“投票”的方式，选择得票最多的label作为最终结果。随机森林是一种集成方法，也被认为是最近邻预测器的一种。集成方法是将一组弱分类器以一定的方式组合起来，形成一个强分类器。 
**构建单棵树的步骤： 
1、有放回的随机采样，样本数占总数的2 / 3。 
2、对于每一个结点，随机选择m个特征，从中选择能提供最好划分的特征和划分点，在下一个结点重复前两个步骤直到所有训练样例都属于同一类。

 

随机森林的优点： 
1、容易理解和解释，树可以被可视化。 
2、不需要太多的数据预处理工作，即不需要进行数据归一化，创造哑变量等操作。 
3、隐含地创造了多个联合特征，并能够解决非线性问题。 
4、和决策树模型，GBDT模型相比，随机森林模型不容易过拟合。 
5、自带out-of-bag (oob)错误评估功能。 
6、易于并行化。
随机森林的缺点： 
1、不适合小样本，只适合大样本。 
2、大多数情况下，RF模型的精度略低于GBDT模型的精度。 
3、适合决策边界是矩形的，不适合对角线型的。

 

GBDT和随机森林的相同点： 
1、都是由多棵树组成 
2、最终的结果都是由多棵树一起决定

 

GBDT和随机森林的不同点： 
1、组成随机森林的树可以是分类树，也可以是回归树；而GBDT只由回归树组成 
2、组成随机森林的树可以并行生成；而GBDT只能是串行生成 
3、对于最终的输出结果而言，随机森林采用多数投票等；而GBDT则是将所有结果累加起来，或者加权累加起来 
4、随机森林对异常值不敏感，GBDT对异常值非常敏感 
5、随机森林对训练集一视同仁，GBDT是基于权值的弱分类器的集成 
6、随机森林是通过减少模型方差提高性能，GBDT是通过减少模型偏差提高性能

 

xgboost和gbdt区别

Gradientboosting machine(GBM) 

梯度下降机，是Boosting算法的一种。GBM主要思想是基于之前建立的基学习器的损失函数的梯度下降方向来建立下一个新的基学习器，目的就是希望通过集成这些基学习器使得模型总体的损失函数不断下降，模型不断改进。

 

Gradientboosting Decision Tree(GBDT) 
GB算法中最典型的基学习器是决策树，尤其是CART，正如名字的含义，GBDT是GB和DT的结合。要注意的是这里的决策树是回归树，GBDT中的决策树是个弱模型，深度较小一般不会超过5，叶子节点的数量也不会超过10，对于生成的每棵决策树乘上比较小的缩减系数（学习率<0.1），有些GBDT的实现加入了随机抽样（subsample 0.5<=f <=0.8）提高模型的泛化能力。通过交叉验证的方法选择最优的参数。

 

GBDT缺点： （也是Xgboost的缺点）
GBDT ->预排序方法(pre-sorted) 
(1).空间消耗大。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如排序后的索引，为了后续快速的计算分割点），这里需要消耗训练数据两倍的内存。 
(2).时间上也有较大的开销，在遍历每一个分割点的时候，都需要进行分裂增益的计算，消耗的代价大。 
(3).对cache优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对cache进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的cache miss。

 

Xgboost
　　Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 
　　(1)xgboost在目标函数中显示的加上了正则化项，基学习为CART时，正则化项与树的叶子节点的数量T和叶子节点的值有关。 
　　(2)GB中使用Loss Function对f(x)的一阶导数计算出伪残差用于学习生成fm(x)，xgboost不仅使用到了一阶导数，还使用二阶导数。 
　　(3)上面提到CART回归树中寻找最佳分割点的衡量标准是最小化均方差，xgboost寻找分割点的标准是最大化，lamda，gama与正则化项相关。

xgboost算法的步骤和GB基本相同，都是首先初始化为一个常数，gb是根据一阶导数ri，xgboost是根据一阶导数gi和二阶导数hi，迭代生成基学习器，相加更新学习器。 
 

xgboost比gdbt优化的地方：

1.  传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。

2.  传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。

3.  xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variancetradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

4.  在寻找最佳分割点时，考虑传统的枚举每个特征的所有可能分割点的贪心法效率太低，xgboost实现了一种近似的算法。大致的思想是根据百分位法列举几个可能成为分割点的候选者，然后从候选者中根据上面求分割点的公式计算找出最佳的分割点。 

5.  xgboost工具支持并行。虽然boosting算法迭代必须串行，但是在处理每个特征列时可以做到并行。

boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

6.  列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。

7.  xgboost考虑了训练数据为稀疏值的情况对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向，这能大大提升算法的效率

8.  xgboost 还考虑了当数据量比较大，内存不够时怎么有效的使用磁盘，主要是结合多线程、数据压缩、分片的方法，尽可能的提高算法的效率。

 

lightgbm和xgboost区别

LightGBM介绍：

lightGBM 是一个梯度 boosting 框架，使用基于学习算法的决策树。它可以说是分布式的，高效的，它有以下优势：

- 更快的训练效率

- 低内存使用

- 更好的准确率

- 支持并行学习

- 可处理大规模数据

 

lighgbm原理：

1.  基于Histogram的决策树算法

直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。 

优点：内存消耗的降低，计算上的代价也大幅降低

2.  带深度限制的Leaf-wise的叶子生长策略

3.  直方图做差加速

4.  直接支持类别特征(CategoricalFeature)

5.  Cache命中率优化

6.  基于直方图的稀疏特征优化

7.  多线程优化