机器学习技法之Aggregation方法总结：Blending、Learning（Bagging、AdaBoost、Decision Tree）及其aggregation of aggregation

本文主要基于台大林轩田老师的机器学习技法课程中关于使用融合（aggregation）方法获得更好性能的g的一个总结。包括从静态的融合方法blending（已经有了一堆的g，通过uniform：voting/average、non-uniform：linear/non-linear和condition的融合形式来获取更好地性能），动态融合方法learning（没有一堆的g set，而是通过online learning获取g，边学习g，变边进行融合，对比于blending中的uniform融合形式的有bagging，具有uniform融合形式的有AdaBoost（Re-weighting），具有condition融合形式的有Decision Tree），之后还包括一些aggregation model的aggregation，比如Random Forest、Gradient Boosted Decision Tree等。利用aggregation model进行机器学习有以下两方面的考量：1）cure of underfitting：比如AdaBoost-Stump，对于单个Decision Stump进行分类或拟合时，很显然是能力不够的underfitting，我们需要提升G的能力，而通过aggregation就可以使得G变得strong和powerful；2）cure of overfitting：比如classification来说，我们通过aggregation得到了类似support vector的large margin的效果，即我们选择的是“moderate”的那个线（最明显的例子就是对于PLA，我得到了一堆的二维平面上可以分开的g，那么我通过融合后得到的G实际上是moderate，对应SVM中的large margin），从而实现了regularization的效果，能抑制overfitting。