task5-LightGBM
LightGBM的原理与实现
GBDT
Kaggle 上的比赛有一半以上的冠军方案都是基于 GBDT模型。目前已有的 GBDT 工具基本都是基于预排序的方法（pre-sorted）的决策树算法(如 XGboost)。这种构建决策树的算法基本思想是：
- 对所有特征都按照特征的数值进行预排序；
- 在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点；
- 找到一个特征的分割点后，将数据分裂成左右子节点。
这样的预排序算法的优点是：能精确地找到分割点。
缺点也很明显：
- 空间消耗大。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如排序后的索引，为了后续快速的计算分割点），这里需要消耗训练数据两倍的内存；
- 时间上也有较大的开销，在遍历每一个分割点的时候，都需要进行分裂增益的计算，消耗的代价大；
- 对 cache 优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对 cache 进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的 cache miss
LightGBM
LightGBM 提出的主要原因就是为了解决 GBDT 在海量数据遇到的问题，让 GBDT 可以更好更快地用于工业实践。
lightGBM是GBDT的一个实现框架，支持高效率的并行训练，具有以下优点：
- 更快的训练速度
- 更低的内存消耗
- 更好的准确率
- 分布式支持，可以快速处理海量数据
LightGBM的优化部分包括：
- 基于 Histogram 的决策树算法
- 带深度限制的 Leaf-wise 的叶子生长策略
- 直方图做差加速
- 直接支持类别特征(Categorical Feature)
- Cache 命中率优化
- 基于直方图的稀疏特征优化
- 多线程优化
下面主要介绍 Histogram 算法、带深度限制的 Leaf-wise 的叶子生长策略和直方图做差加速以及直接支持类别特征。
Histogram 算法
直方图算法的基本思想：先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。遍历数据时，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。
带深度限制的 Leaf-wise 的叶子生长策略
level-wise
Level-wise过一次数据可以同时分裂同一层的叶子，容易进行多线程优化，也好控制模型复杂度，不容易过拟合。但实际上Level-wise是一种低效算法，因为它不加区分的对待同一层的叶子，带来了很多没必要的开销，因为实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。
Leaf-wise
Leaf-wise是一种更为高效的策略：每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。因此同Level-wise相比，在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度。
但Leaf-wise也有缺点：可能会长出比较深的决策树，产生过拟合。因此LightGBM在Leaf-wise之上增加了一个最大深度限制，在保证高效率的同时防止过拟合。
直方图加速
LightGBM 另一个优化是 Histogram（直方图）做差加速。一个容易观察到的现象：一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到。通常构造直方图，需要遍历该叶子上的所有数据，但直方图做差仅需遍历直方图的k个桶。利用这个方法，LightGBM 可以在构造一个叶子的直方图后，可以用非常微小的代价得到它兄弟叶子的直方图，在速度上可以提升一倍。
直接支持类别特征
实际上大多数机器学习工具都无法直接支持类别特征，一般需要把类别特征，转化到多维的0/1 特征，降低了空间和时间的效率。而类别特征的使用是在实践中很常用的。基于这个考虑，LightGBM 优化了对类别特征的支持，可以直接输入类别特征，不需要额外的0/1 展开。并在决策树算法上增加了类别特征的决策规则。在 Expo 数据集上的实验，相比0/1 展开的方法，训练速度可以加速 8 倍，并且精度一致。
参数说明
| Control Parameters | 含义 | 用法 |
|---|---|---|
| max_depth | 树的最大深度 | 当模型过拟合时,可以考虑首先降低 max_depth |
| min_data_in_leaf | 叶子可能具有的最小记录数（默认20） | 过拟合时用 |
| feature_fraction | 例如 为0.8时，意味着在每次迭代中随机选择80％的参数来建树 | boosting 为 random forest 时用 |
| bagging_fraction | 每次迭代时用的数据比例 | 用于加快训练速度和减小过拟合 |
| early_stopping_round | 如果一次验证数据的一个度量在最近的early_stopping_round 回合中没有提高，模型将停止训练 | 加速分析，减少过多迭代 |
| lambda | 指定正则化 | 0～1 |
| min_gain_to_split | 描述分裂的最小 gain | 控制树的有用的分裂 |
| max_cat_group | 在 group 边界上找到分割点 | 当类别数量很多时，找分割点很容易过拟合时 |
| Core Parameters | 含义 | 用法 |
|---|---|---|
| Task | 数据的用途 | 选择 train 或者 predict |
| application | 模型的用途 | 选择 regression: 回归时，binary: 二分类时，multiclass: 多分类时 |
| boosting | 要用的算法 | gbdt， rf: random forest， dart: Dropouts meet Multiple Additive Regression Trees， goss: Gradient-based One-Side Sampling |
| num_boost_round | 迭代次数 | 通常 100+ |
| learning_rate | 如果一次验证数据的一个度量在最近的 early_stopping_round 回合中没有提高，模型将停止训练 | 常用 0.1, 0.001, 0.003… |
| num_leaves | 默认 31 | |
| device | cpu 或者 gpu | |
| metric | mae: mean absolute error ， mse: mean squared error ， binary_logloss: loss for binary classification ， multi_logloss: loss for multi classification |
| IO parameter | 含义 |
|---|---|
| max_bin | 表示 feature 将存入的 bin 的最大数量 |
| categorical_feature | 如果 categorical_features = 0,1,2， 则列 0，1，2是 categorical 变量 |
| ignore_column | 与 categorical_features 类似，只不过不是将特定的列视为categorical，而是完全忽略 |
| save_binary | 这个参数为 true 时，则数据集被保存为二进制文件，下次读数据时速度会变快 |
调参
| IO parameter | 含义 |
|---|---|
| num_leaves | 取值应 <= 2 ^（max_depth）， 超过此值会导致过拟合 |
| min_data_in_leaf | 将它设置为较大的值可以避免生长太深的树，但可能会导致 underfitting，在大型数据集时就设置为数百或数千 |
| max_depth | 这个也是可以限制树的深度 |
下表对应了 Faster Speed ，better accuracy ，over-fitting 三种目的时，可以调的参数
| Faster Speed | better accuracy | over-fitting |
|---|---|---|
| 将 max_bin 设置小一些 | 用较大的 max_bin | max_bin 小一些 |
| num_leaves 大一些 | num_leaves 小一些 | |
| 用 feature_fraction 来做 sub-sampling | 用 feature_fraction | |
| 用 bagging_fraction 和 bagging_freq | 设定 bagging_fraction 和 bagging_freq | |
| training data 多一些 | training data 多一些 | |
| 用 save_binary 来加速数据加载 | 直接用 categorical feature | 用 gmin_data_in_leaf 和 min_sum_hessian_in_leaf |
| 用 parallel learning | 用 dart | 用 lambda_l1, lambda_l2 ，min_gain_to_split 做正则化 |
| num_iterations 大一些，learning_rate 小一些 | 用 max_depth 控制树的深度 |
代码实现
参考资料：
https://blog.csdn.net/aliceyangxi1987/article/details/80711014
https://blog.csdn.net/dzysunshine/article/details/86235263