李航-第8章提升方法

Adaboost：adaptive Boosting。

Boosting 是 Ensemble Learning 算法的一个类别。Boost 的意思为“提升”，这类算法的思想是“给定仅比随机猜测略好的弱学习算法 ,将其提升为强学习算法”

AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。

a.boosting与bagging区别

一、关于bagging算法（bootstrap aggregating)）
Bagging即套袋法，其算法过程如下：

1、从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的，新数据集合原数据集的大小相等）

2、每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）

3、对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

二、boosting（提升方法）
其主要思想是将弱分类器组装成一个强分类器。在PAC（概率近似正确）学习框架下，则一定可以将弱分类器组装成一个强分类器。

需要注意的是:
1、通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。
2、通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。

参考链接:
机器学习中Bagging和Boosting的区别
Bagging和Boosting 概念及区别

b.adaboost算法的基本思路

基本思路是：通过反复修改训练数据的权值分布，构建系列基本分类器（弱分类器），并将这些基本分类器线性组合，构成一个强分类器。

袁春风老师的教学PPT如下:

adaboost算法.jpg

c.adaboost分类问题的损失函数优化

Q：每一轮如何改变训练数据的权值或概率分布？
AdaBoost： 提高那些被前一轮弱分类器错误分类样本的权值， 降低那些被正确分类样本的权值。

Q：如何将弱分类器组合成一个强分类器？
AdaBoost： 加权多数表决， 加大分类误差率小的弱分类器的权值， 使其在表决中起较大的作用， 减小分类误差率大的弱分类器的权值， 使其在表决中起较小的作用。

GBDT相关参考链接，强烈推荐博客：梯度提升树(GBDT)原理小结，写的很清晰。

d.GBDT的负梯度拟合

GBDT（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。

GBDT的负梯度拟合.jpg

e.GBDT回归和分类算法

1、GBDT的回归算法。

GBDT回归算法.jpg

2、GBDT的二分类和多分类问题。

二元GBDT分类算法.jpg

多元GBDT分类算法.jpg

调用机器学习包

In [2]: import numpy as np
   ...: import pandas as pd
   ...: from sklearn.datasets import load_iris
   ...: from sklearn.model_selection  import train_test_split
   ...: import matplotlib.pyplot as plt
In [3]: def  create_data():
   ...:     iris = load_iris()
   ...:     df = pd.DataFrame(iris.data, columns=iris.feature_names)
   ...:     df['label'] = iris.target
   ...:     df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
   ...:     data = np.array(df.iloc[:100, [0, 1, -1]])
   ...:     for i in range(len(data)):
   ...:         if data[i,-1] == 0:
   ...:             data[i,-1] = -1
   ...:     # print(data)
   ...:     return data[:,:2], data[:,-1]

In [4]: X, y = create_data()
   ...: X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

In [6]: from sklearn.ensemble import AdaBoostClassifier
   ...: clf = AdaBoostClassifier(n_estimators=100, learning_rate=0.5)
   ...: clf.fit(X_train, y_train)
   ...: 
Out[6]: 
AdaBoostClassifier(algorithm='SAMME.R', base_estimator=None,
          learning_rate=0.5, n_estimators=100, random_state=None)

In [7]: clf.score(X_test, y_test)
Out[7]: 0.95
# 可以看到其实与上几个算法相比，这个分数并不高

参考链接：
《统计学习方法》知乎参考读物
Bagging和Boosting 概念及区别
机器学习（四）--- 从gbdt到xgboost
机器学习算法总结--GBDT
梯度提升树(GBDT)原理小结