xgboost等集成学习原理推导

机器学习的一般模型

obj(θ)=L(θ)+Ω(θ) o b j ( θ ) = L ( θ ) + Ω ( θ )

目标函数等于损失函数加正则项。在boost中，为弱学习器的级联。约定训练集为X，个数为N，维度为M， xi x i 为第i个样本， yi y i 为第i个样本的标签，

y^(0)i=0y^(1)i=y^(0)i+f1(xi)y^(2)i=y^(1)i+f2(xi)y^(3)i=y^(2)i+f3(xi)......y^(t)i=y^(t−1)i+ft(xi) y ^ i ( 0 ) = 0 y ^ i ( 1 ) = y ^ i ( 0 ) + f 1 ( x i ) y ^ i ( 2 ) = y ^ i ( 1 ) + f 2 ( x i ) y ^ i ( 3 ) = y ^ i ( 2 ) + f 3 ( x i ) . . . . . . y ^ i ( t ) = y ^ i ( t − 1 ) + f t ( x i )

其中 y^(t)i y ^ i ( t ) 为第i个数据的第t级输出， ft(xi) f t ( x i ) 为第i个样本被第t级学习器拟合的残差。

有：

objti(ft,xi)=L[yi,y^(t)i]+Ω(ft)+constant o b j i t ( f t , x i ) = L [ y i , y ^ i ( t ) ] + Ω ( f t ) + c o n s t a n t

将L在 y^(t−1)i y ^ i ( t − 1 ) 处taylor展开，得：

L[yi,y^(t)i]=L[yi,y^(t−1)i]+gift(xi)+12hif2i(xi)gi=∂L[yi,y^(t−1)i]∂y^(t−1)ihi=∂2L[yi,y^(t−1)i]∂(y^(t−1)i)2 L [ y i , y ^ i ( t ) ] = L [ y i , y ^ i ( t − 1 ) ] + g i f t ( x i ) + 1 2 h i f i 2 ( x i ) g i = ∂ L [ y i , y ^ i ( t − 1 ) ] ∂ y ^ i ( t − 1 ) h i = ∂ 2 L [ y i , y ^ i ( t − 1 ) ] ∂ ( y ^ i ( t − 1 ) ) 2

定义 ft(xi)=wq(xi) f t ( x i ) = w q ( x i ) ，其中 wq(xi) w q ( x i ) 为 xi x i 落入的叶子节点的值（score），编号为q，值就是 wq w q 。对于落入相同叶子结点的， wq(xi) w q ( x i ) 的值相等。

对于所有的样本，有：

objt(ft)=∑i=0N−1(L[yi,y^(t)i])+Ω(ft)+constantΩ=γT+λ∑q=0T−1w2q o b j t ( f t ) = ∑ i = 0 N − 1 ( L [ y i , y ^ i ( t ) ] ) + Ω ( f t ) + c o n s t a n t Ω = γ T + λ ∑ q = 0 T − 1 w q 2

则有：

L[yi,y^(t)i]=L[yi,y^(t−1)i]+gift(xi)+12hif2i(xi)objt(ft)=∑i=0N−1{gift(xi)+12hif2(xi)}+γT+λ12∑q=0T−1w2q+constantobjt(ft)=∑q=0T−1{∑i∈Iqgiwq+12∑i∈Iqhiw2q+12λw2q}+γT+constantobjt(ft)=∑q=0T−1{Gqwq+12(Hq+λ)w2q}+γT L [ y i , y ^ i ( t ) ] = L [ y i , y ^ i ( t − 1 ) ] + g i f t ( x i ) + 1 2 h i f i 2 ( x i ) o b j t ( f t ) = ∑ i = 0 N − 1 { g i f t ( x i ) + 1 2 h i f 2 ( x i ) } + γ T + λ 1 2 ∑ q = 0 T − 1 w q 2 + c o n s t a n t o b j t ( f t ) = ∑ q = 0 T − 1 { ∑ i ∈ I q g i w q + 1 2 ∑ i ∈ I q h i w q 2 + 1 2 λ w q 2 } + γ T + c o n s t a n t o b j t ( f t ) = ∑ q = 0 T − 1 { G q w q + 1 2 ( H q + λ ) w q 2 } + γ T

当树生成了之后，最优的 w∗q=−GqHq+λ w q ∗ = − G q H q + λ ,此时 obj(ft)=−G2q2(Hq+λ)+γT o b j ( f t ) = − G q 2 2 ( H q + λ ) + γ T 。对于不同的树有不同的损失，去最优，为了避免对所有的可能得树都进行生成后的比较，对分裂的叶子节点采用贪心算法:

Gain=G2LHL+λ+G2RHR+λ−(GL+GR)2HL+HR+λ−γ G a i n = G L 2 H L + λ + G R 2 H R + λ − ( G L + G R ) 2 H L + H R + λ − γ

遍历所有节点，选择增益最大值和属性作为分裂点。

即拟合残差时使用模型

y^(t)i=y^(t−1)i+ft(xi) y ^ i ( t ) = y ^ i ( t − 1 ) + f t ( x i )

而加入使用的时候，在实际应用中，引入学习率，有模型：

y^(t)i=y^(t−1)i+ηft(xi) y ^ i ( t ) = y ^ i ( t − 1 ) + η f t ( x i )

每次都不完全拟合残差，以防止过拟合。

例如，用 Li=12(yi−y^i)2 L i = 1 2 ( y i − y ^ i ) 2 作为损失函数，假设已经建立好了t-1颗树，则第t颗树

有：

gi=∂L[yi,y^(t−1)i]∂y^(t−1)i=yi^(t−1)−yihi=∂2L[yi,y^(t−1)i]∂(y^(t−1)i)2=1 g i = ∂ L [ y i , y ^ i ( t − 1 ) ] ∂ y ^ i ( t − 1 ) = y i ^ ( t − 1 ) − y i h i = ∂ 2 L [ y i , y ^ i ( t − 1 ) ] ∂ ( y ^ i ( t − 1 ) ) 2 = 1

但是前面的t-1颗树，都有 y^(t−1)i=y^(t−2)i+ηft−1(xi) y ^ i ( t − 1 ) = y ^ i ( t − 2 ) + η f t − 1 ( x i ) ,由此计算 y^(t−1)i y ^ i ( t − 1 ) 。

然后，通过最大增益生成树 ft f t 。