回归树学习小记 RegressionTree

不管是分类树还是回归树，首先要明确的是，他们使用的特征即可是连续的也可以是离散的，label 是连续值还是类别决定了决策树是分类树还是回归树。
下面是李航的统计学习方法中给出的CART回归树的算法。

其中最关键的就是过程（1）

1.分裂点选择：

枚举所有的特征， 对于每个特征，枚举所有的切分点，对于每一个切分点，数据被分成两部分，对于这两部分，分别找到对应的预测值c1，c2使得两边产生的误差和最小。
这个c1,c2，只是用来计算最小误差和#

2.预测

最终的预测值就是对应叶子节点的平均值或者中位数

CART决策树是个Binary Tree，对于每个分裂节点只会分裂出两个方向，这一点和ID3、C4.5是不同的，CART树是根据特征的取值来分裂的，而另外两个决策树是根据特征来划分的。比如对于age这个属性，ID3、C4.5直接在age上进行分裂，根据取值老中青把样本分成三个部分，而CART树是选择一个最适合的age值，比如青年，再根据age为青年还是非青年把样本二分。

CART树做回归的例子可以参考：
https://blog.csdn.net/index20001/article/details/78333956
https://zhuanlan.zhihu.com/p/30744760