CART回归树原理及示例

转载：https://cethik.vip/2016/09/21/machineCAST/

一、概念

CART全称叫Classification and Regression Tree。首先要强调的是CART假设决策树是二叉树，内部结点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，有分支则相反。这样的决策树等价于递归地二分每个特征。

 

二、CART生成

决策树的生成就是递归地构建二叉决策树的过程，对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

三、回归树的生成最小二叉回归树生成算法：

1、选择最优切分变量j与切分点s，求解：

遍历变量j，对固定的切分变量j扫描切分点s，选择使上式取得最小值的对(j,s)。其中Rm是被划分的输入空间，Cm空间Rm对应的输出值。

2、用选定的对(j,s)划分区域并决定相应的输出值：

3、继续对两个子区域调用步骤1，直至满足停止条件。

4、将输入空间划分为M个区域R1,R2,...Rm生成决策树：

四、示例

上面的东西有点难以理解，下面举个例子来说明。

训练数据见下表，x的取值范围为区间[0.5,10.5]，y的取值范围为区间[5.0,10.0]，学习这个回归问题的最小二叉回归树。

	1	2	3	4	5	6	7	8	9	10
	5.56	5.70	5.91	6.40	6.80	7.05	8.90	8.70	9.00	9.05

求解训练数据的切分点s:

 

 

容易求得在R1、R2内部使得平方损失误差达到最小值的c1、c2为：

 

这里N1、N2是R1、R2的样本点数。

求训练数据的切分点，根据所给数据，考虑如下切分点：

1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5。

对各切分点，不难求出相应的R1、R2、c1、c2及

 

 

例如，当s=1.5时，R1={1}，R2={2,3,...,10}，c1=5.56，c2=7.50，则

现将s及m(s)的计算结果列表如下：

 

 

s	1.5	2.5	3.5	4.5	5.5	6.5	7.5	8.5	9.5
m(s)	15.72	12.07	8.36	5.78	3.91	1.93	8.01	11.73	15.74

 

由上表可知，当x=6.5的时候达到最小值，此时R1={1,2,...,6}，R2={7,8,9,10}，c1=6.24，c2=8.9，所以回归树T1(x)为：

---

注意：以下原作者给出的例子中涉及到“残差”的部分，应当是GBDT求损失函数的一阶导函数得出的，非CART所用到的方法。

CART: 树的根节点分成2支后，再分别在这2支上做分支，以此递推，最终生成一颗完整的决策树；后续再剪枝等；

GBDT：获得一颗二叉树后，利用残差，再在完整的数据集上生成一颗二叉树，最终将多颗二叉树加权累加组成一个最终的函数。

故，本例实际上讲的是GBDT.

请再参考：https://blog.csdn.net/openSUSE1995/article/details/77542330

---

用f1(x)拟合训练数据的残差见下表，表中r2i=yi-f1(xi),i=1,2,...,10

	1	2	3	4	5	6	7	8	9	10
	-0.68	-0.54	-0.33	0.16	0.56	0.81	-0.01	-0.21	0.09	0.14

第2步求T2(x)方法与求T1(x)一样，只是拟合的数据是上表的残差，可以得到：

 

继续求得

 

 

 

可以用拟合训练数据的平方损失误差等来作为结束条件。此时

假设此时已经满足误差要求，那么f(x)=f6(x)即为所求的回归树。