[3B]GBDT(回归提升树)

机器学习技法44节。

GBDT:回归树的时候,基分类器的损失函数是平方损失,最后得到的g(t)是 求解平方损失regression(xn,yn-sn);步长是求解线性回归的解:

(g(t)-input,yn-sn)

“-----”

GBDT比adaboost更多元化,adaboost是指二分的情况,而GBDT可包括二分,回归。

GBM比GBDT更多元化,GBM的基分类器可是CART,SVM等


[3B]GBDT(回归提升树)_第1张图片
[3B]GBDT(回归提升树)_第2张图片
[3B]GBDT(回归提升树)_第3张图片

GBDT:分类树的时候,就是adaboost 二分类情况下的演算法,加上如下两点:

1.根据基分类器的权重,对基分类器的CART树进行,sampling

2.用弱一点的基分类器,避免某个基分类器过拟合,权重a过大。一般令基分类器的树深度为1.

你可能感兴趣的:([3B]GBDT(回归提升树))