快速弄懂机器学习里的集成算法：原理、框架与实战（一）

1.关于集成学习算法
集成学习算法，通俗地讲就是：三个臭皮匠，顶个诸葛亮，这在很多地方都有人提过。举个例子，比如你想第一本书，但是你不知道这本书怎么样，值不值得读，那么你可以通过打听，听取周围人的意见，得到对该书的一个基本评价，这是一种评价方式。你还可以通过京东、当当等电商网站上买书的人对该书的相关评论，得到一些意见，还有就是，你也可以通过豆瓣上对该书的评价，来获取相关信息。
这都是一些对该书评价的基本方法，最终的结果可能就是，你综合这几种意见，最后得到对该书的一个全面性评价，可能这种评价方式比你单纯依赖一种方式的效果好。
集成算法就是这样一种算法，它本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。

2.关于集成学习算法的框架体系
集成学习算法作为机器学习里的一个分支，已形成了一套的理论体系，其相关概念也比较多，如个体学习器、结合策略、bagging、AdaBoost算法、XGB、LGBT等等，让初学者眼花缭乱，每个具体算法的原理不同又会让大家晕头转向。
实际上，这些繁多的内容背后，集成学习算法可以分成两大框架，这也是集成学习着重解决的两个算法。崔丽娟等（2007）在论文《基于分类的集成学习算法研究》中认为集成学习主要由两部分构成：个体生成方法与结论生成方法，这就是集成学习的两个框架。
本人认为，这两部分叫个体集成方法与结论集成方法更贴切，其中前者表示如何得到若干个个体学习器，针对的是每一个具体算法，我如何操作，来集成其优点，后者表示如何选择一种结合策略将个体学习器集合起来，形成强学习器，针对的是不同个体学习器的训练结果，我如何集成起来，获得最优结果。
比如前边讲的对图书评价的问题，我采纳了三种意见得到了该书的综合评价结果，这就是一种结论集成方法。我还可以进一步，对三种评价方式进行优化，比如同过抽样的方法获取周围人的评价，或者一些网站的评论中有水军，可能我就要采取一些方法去验证等等，把这两个步骤结合起来就是集成学习。
集成学习的主要框架体系也是以此分类的，其中，结论集成方法较为简单，包括投票法、平均法、学习法等，其原理也相对简单，个体集成方法主要分为两大类：Boosting和Bagging，前者是基于训练集的学习误差来优化权重，从而提高学习性能，后者是通过对样本训练集反复抽样来提高学习器的性能，并衍生出很多算法。

3、结论集成方法
由于结论集成方法相对简单，且容易理解，所以在这里先讲解这方面内容。
（1）投票法
最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数，数量最多的类别为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终类别。
稍微复杂的投票法是绝对多数投票法，也就是我们常说的要票过半数。在相对多数投票法的基础上，不光要求获得最高票，还要求票过半数。否则会拒绝预测。更加复杂的是加权投票法，和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别。
我们以鸢尾花为例，如下所示，通过决策树、逻辑回归来构建了个体学习器，然后投票选择算法。

#导入sklearn及numpy模块
from sklearn.datasets import load_iris
from sklearn import cross_validation
import numpy as np

# 导入鸢尾花数据集
iris = load_iris()
x_train, x_test, y_train, y_test = cross_validation.train_test_split(iris.data, iris.target, test_size=0.4, random_state=1)

from sklearn import tree  #导入决策树库
from sklearn.linear_model import LogisticRegression #导入逻辑回归库

from sklearn.ensemble import VotingClassifier #导入投票程序包
model1 = LogisticRegression(random_state=1)
model2 = tree.DecisionTreeClassifier(random_state=1)
model = VotingClassifier(estimators=[('lr', model1), ('dt', model2)], voting='hard')
model.fit(x_train,y_train)
model.score(x_test,y_test)

（2）平均法
对于若干个弱学习器的输出进行平均得到最终的预测输出。最简单的平均是算术平均，复杂的是加权平均法。还是以鸢尾花数据为例，先通过决策树、K近邻、逻辑回归来构建了个体学习器，然后进行平均。

from sklearn.neighbors import KNeighborsClassifier #导入K近邻库
model1 = tree.DecisionTreeClassifier()
model2 = KNeighborsClassifier()
model3= LogisticRegression()

model1.fit(x_train,y_train)
model2.fit(x_train,y_train)
model3.fit(x_train,y_train)

pred1=model1.predict_proba(x_test)
pred2=model2.predict_proba(x_test)
pred3=model3.predict_proba(x_test)

finalpred=(pred1+pred2+pred3)/3

（3）学习法
上述两种方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大，于是就有了学习法这种方法。对于学习法，代表方法是stacking，当使用stacking的结合策略时， 我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。
未完待续，由于该方法较为复杂，将在后边着重介绍。。。