机器学习——boosting之XGBoost(未完）

划水一整天，模型看了仨！不错，虽然现在在打哈欠，还是很想把XGBoost梳理梳理
先从名字开始

XGBoost，eXtreme Gradient Boosting: em。。。。不理解

书上说，XGBoost有很好的性能，在各大比赛中大放异彩，行吧，冲这句，好好看看！

看了几篇，总感觉这个XGBoost不仅仅是对GBDT的改进版，还包含了对CART决策树的改进

1. 首先，GBDT是经过泰勒一阶导出来的，XGBoost则是经过泰勒二阶导，越高阶导越接近原函数值
   $L(y,f(x))=L_{m-1}(y,f_{m-1}(x))+\frac{{ə}_{L(y,f_{m-1}(x))}}{{ə}_{f_{m-1}(x)}}\ast [f(x)-f_{m-1}(x)]+\frac{1}{2}\ast \frac{{ə}_{L(y,f_{m-1}(x))}^2}{{ə}_{f_{m-1}(x)}^2}\ast (f(x)-f_{m-1}(x){)}^2$

令 $g_i=\frac{{ə}_{L(y_i,f_{m-1}(x_i))}}{{ə}_{f_{m-1}(x_i)}}$，$h_i=\frac{{ə}_{L(y,f_{m-1}(x_i))}^2}{{ə}_{f_{m-1}(x_i)}^2}$，$L(y,f_{m-1}(x))$这仨都是前k-1轮的，相当于常数

令$f(x)=f_m(x)$，则有 $T_m=f_m(x)-f_{m-1}(x)$

则$L_k(y,f_m(x))=L_{m-1}(y,f_{m-1}(x))+g_i\ast T_m(x_i,{\theta }_m)+\frac{1}{2}{h}_i\ast T_m^2(x_i,{\theta }_m)$

2. 其次，XGBoost的优化①：增加正则化项 $\Omega (T_m(x))$

晕了…明天再说！