梯度提升算法GBDT

GBDT（Gradient Boosting Decision Tree）算法是集成算法中的一种，它的最基本分类器为CART二分类回归树，集成方式为梯度提升。

GBDT.png

CART二分类回归树
CART回归树是GBDT算法的最基本分类器，CART回归树决定了每次分类时，叶子结点只能分出两个树枝，它与ID3，C4.5是不同的。
CART回归树经常涉及到一些问题。
选择哪个特征作为最优分裂特征？
怎么去切分一个特征？
确定分裂结束的条件？
模型的剪枝（后剪枝，预剪枝）？
Boosting
Boosting是一种模型的组合方式，我们熟悉的Adaboost就是一种Boosting的组合方式。
这里我们简述下Adaboost的核心思想。
首先我们拿到一个数据集，第一次切分是随意的，我们将数据集分为红色和蓝色两类，可以看到我们的红色数据集中含有蓝色的数据，然后调整权重，对于分错的数据，增加其权重，对于分对的数据，减小权重，再次进行切分，直到将两类数据彻底分开。

Adaboost.png

Adaboost的过程如下，它是在进行完一次切分之后（一次切分是指将两种类别完全分开），再进行第二次，第二次切分仍是原始数据集开始，之后进行第三次直到第n次。

Adaboost process.png

Adaboost算法最终的结果：由每次算法结果叠加而来，α1，α2，α3是每一种结果的权重，哪种结果比较好，相应的α值就比较大。

Adaboost result.png

Adaboost与随机森林都属于集成算法，随机森林是通过每次并行使用大量的树（通过树的多样性）来提升效果，同时随机森林也有其极限值，当树的规模达到一定程度时，效果无法再得到提升。Adaboost通过串行的方式，对每一次的分类结果赋一个权重值，最后通过累加的方式求得最终结果。
Gradient Boosting
GBDT算法是通过梯度提升的方式不断的优化参数，直到达到局部最优解。GBDT算法每一步优化的对象是不同的。第一步是以label值为目标，来优化参数。第二步优化的目标就是第一步的残差，第三步优化的目标是第二步的残差，以此类推。最终的预测结果：F(x) = f1(x) + f2(x) +···+fn(x)。
GBDT算法的数学表达形式：
第m次的结果等于第m-1次的结果加上第m-1次所预测的残差。GBDT通过不断模型的迭代，来减小残差，达到无限逼近目标值的效果。

GBDT math expression.png

GBDT算法要优化的目标函数如下：
对损失函数Hm求一阶偏导，按照逆梯度的方式求解最优参数。

目标优化函数.png

GBDT API文档介绍
GBDT官方文档：https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html

GradientBoostingClassifier(loss=’deviance’, learning_rate=0.1, n_estimators=100, 
subsample=1.0, criterion=’friedman_mse’, min_samples_split=2, min_samples_leaf=1, 
min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, 
min_impurity_split=None, init=None, random_state=None, max_features=None, verbose=0, 
max_leaf_nodes=None, warm_start=False, presort=’auto’, validation_fraction=0.1, 
n_iter_no_change=None, tol=0.0001)

GBDT算法参数说明：

---

learning_rate：学习率控制着模型参数改变的大小，默认=0.1
n_estimators：回归树的数量，默认 = 100
subsample：采样的比例，默认 = 1
min_samples_split：分类节点的最小样本数，小于这个值，叶子节点是不可再分的，默认 = 2
min_samples_leaf：叶子节点的最小样本数，默认 = 1
min_weight_fraction_leaf：样本的权重
max_depth：回归树的最大深度，默认 = 3
max_features：最好特征的个数，随机选择。
max_leaf_nodes：叶子节点的数量。
min_impurity_decrease：一个节点能否再分，取决于熵值的降低值是否大于指定值。

---

GBDT算法样例演示
Mnist数据集：链接：https://pan.baidu.com/s/1Tz573QiMLuaD-fEXcr4qYA
提取码：xozg

import gzip
import pickle as pkl
from sklearn.model_selection import train_test_split

def load_data(path):
    f = gzip.open(path,'rb')
    train_set,valid_set,test_set = pkl.load(f,encoding = 'latin1')
    f.close()
    return(train_set,valid_set,test_set)

path = 'D:\\Py_dataset\\mnist.pkl.gz'
train_set,valid_set,test_set = load_data(path)
Xtrain,_,ytrain,_ = train_test_split(train_set[0],train_set[1],test_size = 0.9)
Xtest,_,ytest,_ = train_test_split(test_set[0],test_set[1],test_size = 0.9)

from sklearn.ensemble import GradientBoostingClassifier
import numpy as np
import time

clf = GradientBoostingClassifier(n_estimators = 10,learning_rate = 0.1,max_depth = 3)
start_time = time.time()
clf.fit(Xtrain,ytrain)
end_time = time.time()
print('The training time {}'.format(end_time - start_time))

pred = clf.predict(Xtest)
accuracy = np.sum(pred == ytest)/pred.shape[0]
print('Test accuracy {}'.format(accuracy))
The training time 19.14890456199646 #模型的训练时间
Test accuracy 0.829 #精度值

#集成算法都可以获得特征的重要程度
import matplotlib.pyplot as plt
plt.hist(clf.feature_importances_)
plt.show()

特征重要性分布图，横轴代表重要性，纵轴代表特征数量。

feature importances.png

GBDT算法小结
相比较单一算法，集成算法的效果更好。GBDT是一种boosting形式的集成算法，通断不断的优化残差值，最后达到一个非常好的效果。随机森林是一种bagging的算法，通过并行训练大量的模型，通过模型的多样性去达到一个非常不错的效果。