机器学习笔记——集成学习

1、什么时候用集成学习？

集成学习有利于减少模型方差，因此当模型复杂度复杂度太高时可以用集成学习方法

参加kaggle等比赛的时候

2、bagging和boosting的基学习器有一样的特点？

bagging的基学习器更强一些，它们学习的对象都是目标任务，最终的预测模型是直接拿子模型的决策结果投票或者做平均；boosting的基学习器更弱一些，可以说是非常弱，它们学习的都只是目标任务的一部分（可以这么理解），即使自己的任务学习的很好，看起来也很弱，所以这种弱是相对整体学习任务而言的。

3、Adaboost算法

为了把样本权重更新公式简化成一个，用at替换掉dt。

dt的推导：

一个小例子：

按照前面所述，这里的d貌似没有必要计算；而且，这里貌似用a同时作为样本和子模型的权重更新乘子。应该用a作为子模型的权重更新乘子，同时，对某个样本而言，其权重

更新公式为：

当样本被正确分类时

当样本被误分类时

或者合并为

D表示所有样本的权重构成的向量。

4、为啥训练错误率已经为0了测试错误率还在下降？

因为margin在增大，这使得模型越来越鲁棒