机器学习---集成学习

1.集成学习内容

2.数学支撑

集成学习的思想背后有比较成熟的数学理论作支撑，也即Valiant和Kearns提出的PAC (Probably approximately correct) 学习框架下的强可学习和弱可学习理论。 该理论指出：在PAC 的学习框架中，一个概念如果存在一个多项式的学习方法能够学习它，并且如果预测正确率很高，那么就称这个概念是强可学习的；如果正确率仅比随机猜测略好，那么就称这个概念是弱可学习的。 随后，Schapire证明了强可学习和弱可学习是等价的，也就是说弱学习模型是可以通过组合提升为强学习模型的，由此便形成了后来的集成学习的思想。

2.bagging && boosting

	样本选择	样例权重	预测函数	并行计算
Bagging	有放回选取的   各轮训练集之间是独立的	均匀取样，权重相等	所有预测函数的权重相等	各个预测函数可以并行生成
Boosting	权重发生变化 权值是根据上一轮的分类结果进行调整	根据错误率不断调整样例的权值，错误率越大则权重越大	每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重	各个预测函数只能顺序生成，