机器学习（西瓜书）注解：第8章 集成学习

机器学习（西瓜书）注解：第8章 集成学习

        本次更新第8章，集成学习。针对该章注解有任何问题欢迎在此留言~

        本章内容整体上看并不复杂，可以看成是作者的英文专著《Ensemble Methods: Foundations and Algorithms》（https://book.douban.com/subject/10494228/，据悉该书中文版即将由电子工业出版社出版）的精简版，但8.2节有关AdaBoost的推导感觉很难吃透，尤其是本节还涉及到如Gradient Boosting、GBDT、XGBoost等概念，因此必须读一些原始文献和其它参考资料方能对此有所理解，下面对这些概念进行一个简单的梳理。

        提升(Boosting)是一族可将弱学习提升为强学习器的算法，弱学习器间存在强依赖关系、必须串行生成。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后打着本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。（摘自西瓜书P173）

        提升树(Boosting Tree)是以决策树为基学习器的提升方法(i.e., Boosting + Decision Tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。（李航《统计学习方法》第8.4节）

        梯度提升(Gradient Boosting)是基于加法模型和前向分步算法一种理论框架，并不限定损失函数，也不限定基分类器的类型（类型包含两层含义：第1层如分类和回归等；第2层如决策树、SVM、神经网络等）。

        梯度提升树(GBDT) = Gradient Boosting + Decision Tree (CART)，这里CART取为回归树。李航《统计学习方法》第8.4.3节中的算法8.4实际为GBDT算法，与刘建平Pinard博客《梯度提升树(GBDT)原理小结》介绍基本一致，林轩田《机器学习技法》课程第11讲则特指损失函数为平方损失。

        特别地，8.2节介绍的AdaBoost(Adaptive Boosting)是当Gradient Boosting中损失函数为指数损失函数、基分类器为二分类（只能取+1和-1两个值）时的特殊形式(i.e., Gradient Boosting + Exponential Loss + Binary base classifier)，这里基分类器可以为任何二分类器，如决策树、SVM、神经网络等。当然，西瓜书作者在第190页的阅读材料中提到，这仅是源“统计视角”的一种推导而已，但这派理论产生的推论并不能解释某些现象，因此这可能仅是一个与AdaBoost相似的学习过程而非AdaBoost本身。

        当AdaBoost的基分类器为二分类决策树时，也可以称为提升树，“对二类分类问题，提升树算法只需将AdaBoost算法8.1中的基本分类器限制为二类分类树即可，可以说这时的提升树是AdaBoost算法的特殊情况”。但这里与GBDT不一样，因为AdaBoost限定了基分类器为二分类（实际上也可以做回归任务），并不像GBDT里那样，每轮迭代与残差（负梯度）拟合；而且已经提到，GBDT一般特指Gradient Boosting与CART回归树的结合。

        XGBoost是GBDT的一个软件包，类似于LIBSVM是SVM的一个软件包。XGBoost在实现GBDT时进行了一些细节上的改进和扩展。

        各种概念之间的包含关系如下图所示：

        以上仅为个人的初步理解，可能有误，勿被误导^_^

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

第 8 章目录
第 8 章 集成学习.............................................................................................................................1
       8.1 个体与集成........................................................................................................................1
                1、式(8.1)的解释.............................................................................................................1
                2、式(8.2)的解释.............................................................................................................2
                3、式(8.3)的推导.............................................................................................................2
       8.2 Boosting ..............................................................................................................................2
                1、式(8.4)的解释.............................................................................................................3
                2、式(8.5)的解释.............................................................................................................3
                3、式(8.6)的推导.............................................................................................................3
                4、式(8.7)的推导.............................................................................................................4
                5、式(8.8)的推导.............................................................................................................5
                6、式(8.9)的推导.............................................................................................................5
                7、式(8.12)的推导[?].......................................................................................................6
                8、式(8.13)的推导...........................................................................................................6
                9、式(8.14)的推导[?].......................................................................................................6
                10、式(8.16)的推导 .........................................................................................................7
                11、式(8.17)的推导 .........................................................................................................7
                12、式(8.18)的推导 .........................................................................................................7
                13、式(8.19)的推导 .........................................................................................................8
                14、 AdaBoost 的个人推导..............................................................................................8
                15、更深一步理解权重更新公式的含义.....................................................................11
                16、能够接受带权样本的基学习算法.........................................................................12
        8.3 Bagging 与随机森林 ........................................................................................................13
                1、 Bagging 算法的解释 ................................................................................................13
                2、式(8.20)的解释.........................................................................................................13
                3、式(8.21)的推导.........................................................................................................13
                4、随机森林的解释.......................................................................................................13
        8.4 结合策略..........................................................................................................................14
                1、硬投票和软投票的解释...........................................................................................14
                2、元学习器(meta-learner)的解释................................................................................14
                3、 Stacking 算法的解释................................................................................................14
        8.5 多样性..............................................................................................................................14
                1、式(8.28)的解释.........................................................................................................14
                2、式(8.31)与式(8.28)的等价性推导............................................................................15
                3、式(8.32)的解释.........................................................................................................16
                4、列联表(contingency table)的解释............................................................................16
                5、式(8.40)的解释.........................................................................................................16
                6、式(8.41)的解释.........................................................................................................16
                7、式(8.42)的解释.........................................................................................................16
                8、多样性增强的解释...................................................................................................17
        8.6、 GB(Gradient Boosting)/GBDT/XGBoost......................................................................17
                1、梯度下降法...............................................................................................................17
                2、从梯度下降的角度解释 AdaBoost..........................................................................19
                3、梯度提升(Gradient Boosting)...................................................................................21
                4、梯度提升树(GBDT) .................................................................................................22
                5、 XGBoost....................................................................................................................22
        8.7 本章小节..........................................................................................................................23