最小二乘回归树生成算法

算法：

输入：训练数据集 D ；
输出：回归树 f(x) .
在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树：
(1) 选择最优切分变量 j 与切分点 s ，求解

minj,s⎡⎣minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2⎤⎦

遍历变量 j ，对固定的切分变量 j 扫描切分点 s
(2) 用选定的对 (j,s) 划分区域并决定相应的输出值：

R1(j,s)={x|x(j)≤s},R2(j,s)={x|x(j)>s}

c^m=1Nm∑xi∈Rm(j,s)yi,x∈Rm,m=1,2

(3) 继续对两个子区域调用步骤(1),(2)，直至满足停止条件。
(4) 将输入空间分为 M 个区域 R1,R2,⋯,RM ，生成决策树：

f(x)=∑m=1Mc^mI(x∈Rm)