集成学习 bagging&boosting

bagging通过类似交叉验证的方式，产生多个子集，进行多次学习，然后对各模型的结果取平均数。就可以通过相对简单的模型，得到比较好的效果。

相对于直接用比较复杂的模型，bagging不容易过拟合。

boosting，组合多个（多次？）简单的学习器（弱学习器 weak learner），形成比较好的学习效果。

弱学习器，正确率大于1/2即可。

分布D ？？？

α(t) =1/2 * ln ( (1- ε) / ε )

http://blog.csdn.net/renyp8799/article/details/49837389

基础分类器的过拟合，或造成boosting的过拟合；

粉红噪声pink noise，也就是均匀噪声，会造成过拟合；

更多的弱分类器，不会让boosting过拟合，因为boosting过程增大了margin； （？）

除了减少error频率，boosting还可以提升置信度；