机器学习算法:集成学习 lightGBM

lightGBM 是集成学习的一种,是梯度提升决策树的高效实现。主要有几方面优化:

  • 减少分割增益的计算量:分割需要对特征的取值一一计算,当取值较多时计算量较大;lightGBM 采用直方图的方式,将取值划分为多个桶,计算复杂度就和桶数量相关而不是取值数相关。
  • 通过直方图的相减来进行进一步的加速:节点直方图可以通过父节点直方图与兄弟节点直方图做差
  • 减少内存的使用:直方图将连续数据离散化,减少了存储类型的位数。
  • 稀疏特征优化:对于互斥的稀疏特征,将它们进行绑定视作一个特征,减少了特征数。
  • ……

论文阅读

机器学习论文:《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》 

文档

lightGBM 特性

Features

Github

LightGBM

 

直方图算法:

直方图算法用于搜索特征的分割点

Lightgbm 直方图优化算法深入理解

LightGBM explained系列——Histogram-based algorithm是什麼?

 

单边梯度采样(GOSS)

用于对梯度较小的样本进行采样,只保留梯度大的样本,减少数据量的同时,不会降低准确率

LightGBM explained系列——Gradient-based One-Side Sampling(GOSS)是什麼?

 

互斥特征绑定(EFB)

对于过多稀疏的特征,为减少特征数,将无关联的特征绑定作为一个特征,用图上色来求解。

LightGBM explained系列——Exclusive Feature Bundling(EFB)是什麼?

 

其他文章

比XGBOOST更快--LightGBM介绍

What makes LightGBM lightning fast? 

LightGBM and XGBoost Explained

LightGBM model explained by shap

 

 

你可能感兴趣的:(机器学习)