Ensemble方法

本文为《Ensemble Methods Foundations and Algorithms》的读书笔记，由于用word记录，其中有很多公式和图片在csdn上不好显示，所以直接上传word文档。持续更新中

目录

2 Boosting.0

2.1 Boosting过程...0

2.2 AdaBoost算法...0

2.3 例子...0

2.4 相关理论分析...0

2.4.1 初始状态分析...0

2.4.2 对间隔的解释...0

2.4.3 统计观点...0

2.5 多分类扩展...0

2.6 噪声误差...0

2.7 进一步阅读...0

3 Bagging.0

3.1 两种集成模式...0

3.2 Bagging算法...0

3.3 示例...0

3.4 理论问题...0

3.5 随机集成树...0

3.5.1 随机森林...0

3.5.2 随机谱...0

3.5.3 随机树集成算法估计概率密度...0

3.5.4 随机集成树异态检测...0

3.6 进一步阅读...0

4 集成方式...0

4.1 集成的益处...0

4.2 平均方法...0

4.2.1 简单平均...0

4.2.2 加权平均...0

4.3 投票法...0

4.3.1 多数表决...0

4.3.2 多元表决...0

4.3.3 加权表决...0

4.3.4 Soft表决...0

4.3.5 相关理论...0

4.3.5.1 多数表决的理论边界...0

4.3.5.2 决策边界分析...0

4.4 通过学习的组合方法...0

4.4.1 Stacking方法...0

4.4.2 无限集成...0

4.5 其它组合方法...0

4.5.1 代数方法...0

4.5.2 行为知识空间法...0

4.5.3 决策模板法...0

4.6 相关方法...0

4.6.1 误差校正输出代码...0

4.6.2动态分类器选择...0

4.6.3 混合专家...0

4.7 进一步阅读...0

5 多样性...0

5.1 集成多样性...0

5.2 误差分解...0

5.2.1 歧义误差分解...0

5.2.2 偏差、方差、协方差分解...0

5.3 多样性度量方法...0

5.3.1 Pairwise度量法...0

5.3.2 非Pairwise度量法...0

5.5.3 归纳和可视化...0

5.3.4 多样性度量方法的局限性...0

5.4 信息理论的多样性...0

5.4.1 信息论和集成方法...0

5.4.2 互信息的多样性...0

5.4.3 多信息的多样性...0

5.4.4 估计方法...0

5.5 多样性的产生...0

 

Ensemble Methods Foundations and Algorithms读书笔记