集成学习

集成学习

集成学习 (ensemble learning) 是通过构建并结合多个学习器来完成学习任务。其一般结构为：

• 先产生一组“个体学习器”（individual learner) 。个体学习器通常由一种或者多种现有的学习算法从训练数据中产生。

  • 如果个体学习器都是从某一种学习算法从训练数据中产生，则称这样的集成学习是同质的 homogenerous。此时的个体学习器也称作基学习器 base learner，相应的学习算法称作基学习算法。
  • 如果个体学习器是从某几种学习算法从训练数据中产生，则称这样的集成学习是异质的 heterogenous 。

• 再使用某种策略将它们结合起来。集成学习通过将多个学习器进行组合，通常可以获得比单一学习器显著优越的泛化性能。

简单描述如下：

• 如何得到若干个个体学习器
• 如何选择一种结合策略，将这些个体学习器集合成一个强学习器。

集成学习之结合策略

• 平均法（回归预测问题）
• 投票法（分类预测问题）
• 学习法（将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习期来得到最终结果。）

根据个体学习器的生成方式，目前的集成学习方法大概可以分作两类：

• 个体学习器之间存在强依赖关系、必须串行生成的序列化方法，每一轮迭代产生一个个体学习器。其中以Boosting 为代表。
• 个体学习器之间不存在强依赖关系、可同时生成的并行化方法。其中以 Bagging 和随机森林 Random Forest 为代表。

boosting

image.png

bagging

image.png

Boosting

Boosting 就是一族可以将弱学习器提升为强学习器的算法：

• 先从初始训练集训练出一个基学习器。
• 再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注。
• 然后基于调整后的样本分布来训练下一个基学习器。
• 如此重复，直到基学习器数量达到事先指定的值M 。
• 最终将这M个基学习器进行加权组合。

AdaBoost 算法

AdaBoot 算法两个核心步骤：

1、每一轮中如何改变训练数据的权值？

AdaBoost算法提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。于是那些没有得到正确分类的数据由于权值的加大而受到后一轮的弱分类器的更大关注。

2、最后如何将一系列弱分类器组合成一个强分类器？

AdaBoost 采用加权多数表决的方法：

• 加大分类误差率较小的弱分类器的权值，使得它在表决中起较大作用。
• 减小分类误差率较大的弱分类器的权值，使得它在表决中起较小的作用。

image.png

缺点：

对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

Bagging

Bagging的基本流程：

• 经过 M 轮自助采样，可以得到 M 个包含 N 个训练样本的采样集。
• 然后基于每个采样集训练出一个基学习器。
• 最后将这 M 个基学习器进行组合，得到集成模型。

在使用 Bagging学习器进行预测时：

• 分类任务采取简单投票法，取每个基学习器的预测类别的众数。
• 回归任务使用简单平均法，取每个基学习器的预测值的平均。

从偏差-方差分解的角度来看：

• Bagging主要关注降低方差，它能平滑强学习器的方差。因此它在非剪枝决策树、神经网络等容易受到样本扰动的学习器上效果更为明显。
• Boosting 主要关注降低偏差，它能将一些弱学习器提升为强学习器。因此它在SVM 、knn 等不容易受到样本扰动的学习器上效果更为明显。

随机森林

随机森林中的基学习器的多样性不仅来自样本扰动，还来自属性扰动。这就是使得最终集成的泛化性能可以通过个体学习器之间差异度的增加而进一步提升。

随机森林的优点：

• 训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。
• 由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。
• 在训练后，可以给出各个特征对于输出的重要性
• 由于采用了随机采样，训练出的模型的方差小，泛化能力强。
• 对部分特征缺失不敏感。

RF的主要缺点有：

• 在某些噪音比较大的样本集上，RF模型容易陷入过拟合。
• 取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

构造随机森林

随机森林本质上市许多决策树的集合，其中每棵树都和其他树略有不同。背后的思想是，每棵树的预测可能都相对较好，但可能对部分数据过拟合。如果构造很多树，并且每棵树的预测都很好，但都以不同的方式过拟合，那么我们可以对这些树的结果取平均值来降低过拟合。

随机森林中树的随机化方法：

• 通过选择用于构造树的数据点
• 通过选择每次划分测试的特征

a、构造随机森林，需要确定用于构造的树的个数（RandomForestClassifier 和 RandomForestRegressor 的 n_estimators 参数）
b、要构造一棵树，首先要对数据进行自助采样。从 n_samples 个数据点中有放回地重复抽取一个样本，共抽取 n_samples次。
c、在每个结点处，算法随机选择特征的一个子集，并对其中一个特征寻找最佳测试，而不是对每个结点都寻找最佳测试。选择的特征个数由 max_features 参数来控制。

优点、缺点和参数

优点和缺点

• 随机森林非常强大，通常不需要反复调节参数就可以给出很好的结果，也不需要对数据进行缩放。
• 随机森林拥有决策树的所有优点，同时弥补了决策树的一些缺陷。
• 对于维度非常高的稀疏数据，随机森林的表现往往不是很好。

参数：

• n_estimators，n_estimators 总是越大越好，经验法则就是在你的时间/内存允许的情况下尽量多。
• max_features, max_features 好的经验就是使用默认值：对于分类，默认值是 max_features=sqrt(n_features)；对于回归，默认值是 max_features=n_features。

随机森林分类

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
import numpy as np

X,y=make_moons(n_samples=100,noise=0.25,random_state=3)
X_train,X_test,y_train,y_test=train_test_split(X,y,stratify=y,random_state=42)

forest=RandomForestClassifier(n_estimators=5,random_state=2)
forest.fit(X_train,y_train)

cancer=load_breast_cancer()
X_train,X_test,y_train,y_test=train_test_split(cancer.data,cancer.target,random_state=0)
forest=RandomForestClassifier(n_estimators=100,random_state=0)
forest.fit(X_train,y_train)

print('Accuracy on training set:{:.3f}'.format(forest.score(X_train,y_train)))
print('Accuracy on test set:{:.3f}'.format(forest.score(X_test,y_test)))

def plot_feature_importances_cancer(model):
    n_features=cancer.data.shape[1]
    plt.barh(range(n_features),model.feature_importances_,align='center')
    plt.yticks(np.arange(n_features),cancer.feature_names)
    plt.xlabel('Feature importance')
    plt.ylabel('Feature')
    plt.show()

plot_feature_importances_cancer(forest)

参考链接

https://www.cnblogs.com/pinard/p/6131423.html
https://www.cnblogs.com/pinard/p/6133937.html