回归问题的提升树(boosting tree)算法

算法：

输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R;
输出：提升树 fM(x) .
(1) 初始化 f0(x)=0
(2) 对 m=1,2,⋯,M
(a) 计算残差

rmi=yi−fm−1(xi),i=1,2,⋯,N

(b) 拟合残差 rmi 学习一个回归树，得到 T(x;Θm)
(c) 更新

fm(x)=fm−1(x)+T(x;Θm)

(3) 得到回归问题提升数

fM(x)=∑m=1MT(x;Θm)

思路说明：

回归问题采用平方误差损失函数

L(y,f(x))=(y−f(x))2

按照 前向分步算法极小化损失函数，则损失为

L(y,fm−1(x)+T(x;Θm))=[y−fm−1(x)−T(x;Θm)]2=[r−T(x;Θm)]2

这里 r=y−fm−1(x) .
所以回归问题的提升树算法需要计算残差并拟合残差 。