3、结论集成方法
表示如何选择一种结合策略将个体学习器集合起来，形成强学习器，针对的是不同个体学习器的训练结果，我如何集成起来，获得最优结果。主要分为两大类：Boosting和Bagging，前者是基于训练集的学习误差来优化权重，从而提高学习性能，后者是通过对样本训练集反复抽样来提高学习器的性能，并衍生出很多算法。
(1) Boosting算法
基于boosting 的集成学习，不同的个体学习器是通过串行一步一步得到的。算法首先将每个训练样本初始化一个权重值，然后训练出第一个个体学习器，计算在训练集上的加权错误率，然后更新每个样本的权重，最后调整每个个体学习器的权重。使准确率比较高的个体学习器的权重较高，准确率比较低的基本学习期的权重较低。然后根据新的样本权重值，去训练下一个个体学习器，不断循环，直到达到指定个体学习器数目时，算法停止运行。 其流程图如下：
Boosting系列算法里最著名算法主要有AdaBoost算法和提升树(boosting tree)系列算法。提升树系列算法里面应用最广泛的是梯度提升树(Gradient Boosting Tree)、GBDT、XGBOOST等。
(2) Bagging算法
基于bagging 的集成学习，是通过不断的对训练样本集合做有放回的随机取样得到的。例如对训练集做M 次随机有放回抽样，那么我们可以得到M 个不同的训练集，对这M 个不同的训练集，我们构建一个模型去训练，这样就可以得到M 个不同的模型。最后再将这M 个模型的结果融合，得到最终的模型。其流程图如下：
Bagging算法最经典的就是随机森林算法。其基本思想就是构造很多棵决策树，形成一个森林，然后用这些决策树共同决策输出类别是什么。在整个随机森林算法的过程中，有两个随机过程，第一个就是输入数据是随机的从整体的训练数据中选取一部分作为一棵决策树的构建，而且是有放回的选取；第二个就是每棵决策树的构建所需的特征是从整体的特征集随机的选取的，这两个随机过程使得随机森林很大程度上避免了过拟合现象的出现。
4、集成学习算法实战应用
我们以手写数字识别案例为基础，探讨集成算法的综合应用。这里我们将分别采用kNN 和逻辑回归作为个体学习器，采用基本相对投票法作为结合策略，来验证集成学习在该问题上的效果。
1、Bagging 集成kNN 模型
基本原理： 我们采用了sklearn 中的BaggingClassifier 来实现集成学习算法，个体学习器采用了KneighborsClassifier，为了加速kNN 算法的运行，在存储训练集样本时，我们采用了kdTree 数据结构，来加速最近邻的查找。
结果分析：我们分别设置了bagging 参数T = 5，10，15，20 测试集上的准确率。最终的实验结果表明，当T =10 时，模型在测试集上的准确率达到95.3%。当采用单一的个体学习器kNN 时，模型的准确率为95.25%。虽然正确率只提高了0.05%，但是由于测试集样本数目较多，所以相对使用单一；的kNN 模型而言，性能还是提高了不少。
2、Bagging 集成逻辑回归模型基本原理：
我们采用了sklearn 中的Bagging Classifier 来实现bagging 算法， 个体学习器采用LogisticRegression，为了避免陷入过拟合，逻辑回归加入了L2 正则化项。并且分别设置了不同的bagging 参数，即个体学习器的数目T，观察不同的参数T，对结果的影响。结果分析：我们在测试过程中，分别设置了bagging参数T = 5，10，15，20 来观察不同的参数T，在测试集上的准确率。最终实验结果表明，当T = 20 时，模型在测试集上的准确率达到了90.6%。而在前面采用单一的逻辑回归进行学习时，在测试集上的准确率只有86.7%。
由此可见，在采用了基于bagging 的集成学习后，模型的泛化能力增强，性能提升，在测试集上的准确率得到了提高。当T 较小时，算法的运行时间较快，但是当T 较大时，由于需要生成多个个体生成器，所以算法的需要运行更长的时间。
根据具体的Minist 手写识别数据集实例，在该数据上分别采用了个体学习器kNN，个体学习器逻辑回归，bagging 集成kNN，bagging 集成逻辑回归。在测试集上分别取得了95.25%，86.7%，95.3%，90.6%。验证了在采用了基于bagging 算法的集成学习后，相对于使用单一的个体学习器而言，在测试集上的准确率都有了一定的提高，表现出了集成学习方法相对于单一模型学习方法的优异性。