XGB v.s. LGB

分裂

  • XGB:Level-wise,一次分裂同一层的叶子,但很多叶子分裂增益低、有不必要的搜索和分裂
  • LGB:Leaf-wise with 深度限制,从所有叶子中找增益最大的叶子分裂

决策树算法

  • XGB:exact决策树
  • LGB:Histogram

加速

  • XGB:无
  • LGB:直方图做差(父-兄弟)

categorical feature

  • XGB:需要one hot / dummy
  • LGB:支持

直方图

  • XGB:近似直方图算法:对所有feature每一层建一直方图
  • LGB:对每一feature建直方图,只需一次

你可能感兴趣的:(机器学习算法)