机器学习.周志华《8 集成学习》
个体与集成
集成学习的概念：通过构建并结合多个学习期来完成学习任务，通过投票（voting）产生；
- 同质（homogeneous）：多个“基学习器（base learner）”集成的学习器；（个体分类器算法类型相同）
- 异质（heterogenous）：由多个不同类型算法的组件学习器（component learner）集成的学习器；（个体分类器算法类型不同）
要点：
- 个体学习器的“准确性”和“多样性”很重要，且相互冲突；
- 随着集成中个体分类器数目的增大，集成的错误率指数级下降，最终趋于0；
核心：产生和结合“好而不同”的个体学习器；
分类：
- 串行生成的序列化方法（个体学习器间存在强依赖关系）；Eg：Boosting
- 并行化方法（个体学习器间不存在强依赖关系）；Eg：Bagging和随机森林
Boosting
Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似： 先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本在后面受到更多关注，然后基于调整后的样本分布来训练下一个基学习器。重复执行直到基学习器数目达到事项制定的值T，最终将T个基学习器进行加权结合。
Adaboost算法：
Boosting代表Adaboost的推导方式：
Eg：“加性模型（additive model）”：基学习器的线性组合：
Step 1 ：基分类器H（x）
最小化指数损失函数：
对H（x）求偏导：
解得：
则：
- sign（H（x））达到了贝叶斯最优错误率【若指数函数最小，则分类错误率也最小】
- 指数损失函数是0/1损失函数的一致性替代损失函数；
Step 2 ：基分类器的权重αt
最小化指数损失函数：
求导：
求解得：
Step 3 ：调整错误
理想的ht将在Dt下最小化误差，纠正Ht-1的错误，弱分类器基于Dt来训练，考虑Dt和Dt-1的关系，则有：
Boosting要求基学习器能对特定数据分布进行学习；
- 方法一：重赋权重re-weighting
- 方法二：重采样法re-sampling（对无法接受带权样本进行训练的基分类器）--可获得“重启动”防止早停止；
偏差方差角度：
- Boosting关注降低偏差；
- Boosting算法不容易overfitting。
Bagging与随机森林
希望个体学习器独立，不容易实现，可以设法使基学习器尽可能有较大差异，所以使用相互有交叠的采样子集；
bagging
并行式集成学习的最著名代表；
基于自助采样法（bootstrap sampling）：
优点：63.2%用于训练，剩余36.8%当做验证集对泛化性能做“包外估计”；
bagging对分类任务采用简单投票法；
bagging对回归任务采用简单平均法；
对比：
- Adaboosting只适用于二分类任务；
- Bagging适用于多分类、回归任务；
偏差-方差角度：Bagging关注降低方差；
随机森林：
随机森林（Random Forest）是Bagging的一个扩展变体。在决策树训练过程中引入了随机属性选择。
在RF中，对基决策树的每个节点，先从该节点的属性集合中随机选择一个包含k属性的子集，然后从这个子集中选择一个最优属性用于划分，这里k控制了随机性的引入程度：若k=d则与传统决策树一样，若k=1则为随机选择，推荐k=log2(d);
RF起始性能相对较差，训练效率优于Bagging，随着基学习器数目的增加，收敛到更低的泛化误差；
对比：
- Bagging：使用“确定型”决策树，选择划分属性时对结点的所有属性考察；
- RF:使用“随机型”决策树，只考察一个属性子集；
结合策略
学习器结合三个好处：
1、统计方面：可能有多个假设达到同等性能，导致泛化性能不佳；结合可解决；
2、计算方面：陷入局部最小；结合可解决；
3、表示方面：学习任务的真是假设不在当前学习所考虑的范围之内；结合可解决；
1.平均法
数值型输出：平均法；
- 简单平均法：
注：特殊的加权平均法，wi=1/T,简单平均法在个体学习器性能相近时使用
- 加权平均法：
注：权重wi，是从训练数据中得到（加权平均法在个体学习器性能相差较大时使用）
2.投票法
分类任务，学习器hi将从类别标记集合{c1,c2,...,cN}中预测出一个标记：投票法；
- 绝大多数投票法：
注：某标记得票过半，预测为该标记，否则拒绝预测；（若不允许拒绝预测，则退化为相对多数投票）
- 相对多数投票法：
注：预测为得票最多的标记，若同时多个最多，则从中随机选取；
- 加权投票法：
个体学习器的输出类型:
- -类标记：
- -类概率：
注：
1、不同类型的hi在类别标记cj上的输出不能混用；
2、一些能预测出类别标记的同时产生分类置信度的学习器，可将分类置信度转换为类概率使用；
3、分类置信度必须要经过规范化才能使用；
4、基于类概率进行结合往往比直接基于类标记结合性能更好；
5、基学习器类型不同，不能直接比较类概率值，此时可将类概率值转化为类标记输出；
3.学习法
训练数据很多：学习法；
典型代表1：Stacking：
1、从初始数据集训练处初级学习器；
2、生成一个新数据集来训练次级学习器（元学习器）；
3、新数据集中，初级学习器的输出作为样例输入，初始样本的标记仍当做样例标记；
次级学习器的输入属性表示和次级学习算法对Stacking集成的泛化性能影响很大；
MLR:初级学习器的输出类概率作为次级学习器的输入属性，将多响应线性回归（MLR）作为次级学习算法；
典型代表2：BMA:
贝叶斯模型平均基于后验概率来为不同模型赋予权重；
注：
Stacking通常优于BMA，鲁棒性好，BMA对模型近似误差非常敏感；
多样性
1.误差-分歧分解
结论：个体学习器准确性越高、多样性越大、则集成性越好；
2.多样性度量
目的：度量集成中个体分类器的多样性（多样化程度）【典型做法：分析相似性/不相似性】
pairwise（成对）多样性度量：
- 不合度量：
- 相关系数：
- Q-统计量：
- k-统计量：
Eg：k-误差图：
点：表示每一对分类器；
数据点云位置越高：个体分类器准确性月底；
数据点云位置越靠右：个体分类器的多样性越小；
3.多样性增强
增强多样性方法：扰动----对数据样本、输入属性、输出表示、算法参数进行扰动；
- 数据样本扰动：
数据扰动：通常基于采样法；
Eg：
Bagging：自主采样；
Adaboost：序列采样；
适用于“不稳定基学习器”：决策树、神经网络等；
- 输入属性扰动：
输入属性：训练样本通常由一组属性描述；
Eg：
随机子空间算法；
适用于“稳定基学习器”：线性学习器、朴素贝叶斯、k近邻学习器等；
- 输出表示扰动：
输出表示：对输出表示操纵；
Eg：翻转法随机改变一些训练样本的标记、“输出调制法”将分类输出转化为回归输出狗构建个体学习器等；
- 算法参数扰动：
对基学习算法的参数进行设置；
Eg：神经网络的隐藏层神经元数、初始连接权值等
-----------------------------------------------------------------------------------------------------------*-*----
更多详细内容请关注公众号：目标检测和深度学习
---------------------------------------------------------------------------------------------------------------…^-^……---------