CART：分类与回归树
起源：决策树切分数据集
决策树每次决策时，按照一定规则切分数据集，并将切分后的小数据集递归处理。这样的处理方式给了线性回归处理非线性数据一个启发。
能不能先将类似特征的数据切成一小部分，再将这一小部分放大处理，使用线性的方法增加准确率呢？
Part I: 树的枝与叶
枝：二叉 or 多叉？
在AdaBoost的单决策树中，对于连续型数据构建决策树，我们采取步进阈值切分2段的方法。还有一种简化处理，即选择子数据集中的当前维度所有不同的值作为阈值切分。
而在CART里，大于阈值归为左孩子，小于阈值的归为右孩子。若是离散型数据，则根据离散数据种类建立对应的多叉树即可。
叶：何时不再切分？
ID3决策树中，停止切分的条件有两个：
①DFS链路中全部切分方式被扫过一次，很明显，对于离散型特征，每次按照某一维度异同切分，再扫相同维度毫无意义。
对于连续型特征，则共有维度*(当前维度不同值数量，即阈值数量)种切分方式，同种方式也毫无意义。
②当前子数据集分类全部一致，已经是很完美的切分了，再切也没意思。
CART中，由于搜索深度只有1，重复选取也不会卡死。所以直接遵循②。
追加③条件：手动限制切分子集数量下限tolN，误差变化下限tolS（目标函数收敛）。一旦达到这两个下限，就立刻停止。
枝：一个好枝？
ID3算法给出了一个评价离散Label的好枝的标准：分类的混乱度（香农熵）降低。
对于连续数据，好枝的参考标准则是类似最小二乘法的目标函数，即误差越小越好。
由于计算误差需要先进行线性回归，相当于树套回归，虽然效果很好，但是无疑带来计算压力。
在这点上, CART利用均值和方差的性质给出了一个简化的误差计算：即假设一团数据的回归结果是这团数据的均值，那么目标函数即可当成总方差。
使用均值替代回归结果的树称为回归树，使用实际回归结果的树成为模型树。
叶：数量越多越好？
叶结点数量越多，越容易过拟合。数量越少，则容易欠拟合。
而tolN和tolS在选择最好的切分方式时，控制着叶结点的数量，这两个值越小，叶子越多，且对tolS的值很敏感。
树的递归构建：
①对当前数据集做最好的切分。
②若不能切分，则将该结点设为叶结点。
否则，由于切分的性质，所以切出的两个子集必定不为空。对大于阈值的子集进行左孩子递归构建，小于阈值的子集进行右孩子递归构建。
Part II : 树的剪枝
叶结点数量决定着拟合情况。人工调整不是一件好事。
所以出现一种先强行过拟合(tolN=0,tolS=1)生成CART树，然后利用新的样本数据进行剪枝的方法，称为后剪枝。
后剪枝有两种方法：
①后剪枝会将大量的枝从树顶直接转化成叶子，相当于废掉原树中很多数据，所以需要引入新的数据。
而把一个大枝转为叶子的方法，则是利用均值的性质。新叶子的回归值=原枝上所有叶的均值。
②除了废枝为叶，还有利用均值的计算性质、借助新数据归并两叶。当然归并是有条件的。
新数据递归切分之后，必然会分到叶子上。如果恰好一个枝上是两片叶子，那么分别计算ErrNoMerga、ErrMerga的值，观察是否变小来决定是否归并。
$ErrNoMerga=\sum_{i=1}^{LSet}(Set[i].y-L.leaf)^{2}+\sum_{i=1}^{RSet}(Set[i].y-R.leaf)^{2}$
$NewLeaf=mergaMean=avg(L.leaf+R.leaf)$
$ErrMerga=\sum_{i=1}^{Set}{(Set[i].y-mergaMean)^{2}}$
Part III: 回归与模型树
对于每条测试数据，从树顶按照树中保存的切分规则左右递归直到叶结点，返回叶结点的值作为回归值。
实际测试结果下，效果并不好。所以应当每一个叶结点：保留数据、以及线性回归方程（w、b），从而建立起模型树。
线性模型树方法将取代回归树中的均值误差理论，主要修改地方在选择分支、后剪枝上。
$Err =\sum_{i=1}^{m} (data[i].y-Regression(y))^{2}$
这样，叶结点就变成了一个线性回归器，返回线性回归结果即可。
Part IV 代码
#include "cstdio" #include "iostream" #include "fstream" #include "math.h" #include "sstream" #include "string" #include "vector" #include "set" using namespace std; #define Dim dataSet[0].feature.size() #define TREE pair<vector<Data>,vector<Data> > #define NULL 0 struct Data { vector<double> feature; double y; Data(vector<double> feature,double y):feature(feature),y(y) {} }; struct RegTree { int dim;double value; RegTree *Left,*Right; RegTree():Left(NULL),Right(NULL) {} RegTree(int dim,double value):Left(NULL),Right(NULL),dim(dim),value(value) {} }; vector<Data> dataSet,addSet,testSet; pair<int,double> ops(0,1); void read() { ifstream fin("data1.txt"),fin2("data2.txt"),fin3("data3.txt"); string line;double tmp,y; while(getline(fin,line)) { stringstream sin(line); vector<double> feature; while(sin>>tmp) feature.push_back(tmp); y=feature.back();feature.pop_back(); dataSet.push_back(Data(feature,y)); } while(getline(fin2,line)) { stringstream sin(line); vector<double> feature; while(sin>>tmp) feature.push_back(tmp); y=feature.back();feature.pop_back(); addSet.push_back(Data(feature,y)); } while(getline(fin3,line)) { stringstream sin(line); vector<double> feature; while(sin>>tmp) feature.push_back(tmp); y=feature.back();feature.pop_back(); testSet.push_back(Data(feature,y)); } } pair<vector<Data>,vector<Data> > splitDataSet(vector<Data> dataSet,int dim,double value) { vector<Data> Left,Right; for(int i=0;i<dataSet.size();i++) { if(dataSet[i].feature[dim]>value) Left.push_back(dataSet[i]); else Right.push_back(dataSet[i]); } return make_pair(Left,Right); } double regLeaf(vector<Data> dataSet) { double ret=0.0; //printf("Leaf:\n"); for(int i=0;i<dataSet.size();i++) { ret+=dataSet[i].y; /* for(int j=0;j<dataSet[i].feature.size();j++) printf("%.2lf ",dataSet[i].feature[j]); printf("%lf\n",dataSet[i].y);*/ } //printf("\n"); return ret/dataSet.size(); } double calcErr(vector<Data> dataSet) { double avg=0.0,ret=0.0; for(int i=0;i<dataSet.size();i++) avg+=dataSet[i].y; avg/=dataSet.size(); for(int i=0;i<dataSet.size();i++) ret+=(dataSet[i].y-avg)*(dataSet[i].y-avg); return ret; } pair<int,double> chooseBestSplit(vector<Data> dataSet) { //tolN、tolS（较敏感）过小都会导致Leaf过多,过大则会导致Leaf过少 int tolN=ops.first;double tolS=ops.second,S,newS,bestS=1e10,bestValue,bestDim; set<double> y; for(int i=0;i<dataSet.size();i++) y.insert(dataSet[i].y); if(y.size()==1) return make_pair(-1,regLeaf(dataSet)); S=calcErr(dataSet); for(int i=0;i<Dim;i++) { set<double> splitValue; for(int j=0;j<dataSet.size();j++) splitValue.insert(dataSet[j].feature[i]); for(set<double>::iterator j=splitValue.begin();j!=splitValue.end();j++) { TREE tree=splitDataSet(dataSet,i,*j); if(tree.first.size()<tolN||tree.second.size()<tolN) continue; newS=calcErr(tree.first)+calcErr(tree.second); if(newS<bestS) {bestDim=i;bestValue=*j;bestS=newS;} } } if(S-bestS<tolS) return make_pair(-1,regLeaf(dataSet)); TREE tree=splitDataSet(dataSet,bestDim,bestValue); if(tree.first.size()<tolN||tree.second.size()<tolN) return make_pair(-1,regLeaf(dataSet)); return make_pair(bestDim,bestValue); } RegTree *buildTree(vector<Data> dataSet) { pair<int,double> info=chooseBestSplit(dataSet); if(info.first==-1) { RegTree *node=new RegTree(info.first,info.second); return node; } RegTree *node=new RegTree(info.first,info.second); TREE tree=splitDataSet(dataSet,info.first,info.second); //printf("Node: dim:%d %.2lf\n",info.first,info.second); node->Left=buildTree(tree.first); node->Right=buildTree(tree.second); return node; } double getMean(RegTree *root) { double ret=0.0; if(root->Left->dim!=-1) ret+=getMean(root->Left); else ret+=root->Left->value; if(root->Right->dim!=-1) ret+=getMean(root->Right); else ret+=root->Right->value; return ret/=2; } RegTree *prune(RegTree *&root,vector<Data> dataSet) { if(dataSet.size()==0) return new RegTree(-1,getMean(root)); double errNoMerga=0.0,errMerga=0.0; if(root->Left->dim!=-1||root->Right->dim!=-1) { TREE tree=splitDataSet(dataSet,root->dim,root->value); if(root->Left->dim!=-1) root->Left=prune(root->Left,tree.first); if(root->Right->dim!=-1) root->Right=prune(root->Right,tree.second); } if(root->Left->dim==-1&&root->Right->dim==-1) { TREE tree=splitDataSet(dataSet,root->dim,root->value); for(int i=0;i<tree.first.size();i++) errNoMerga+=(tree.first[i].y-root->Left->value)*(tree.first[i].y-root->Left->value); for(int i=0;i<tree.second.size();i++) errNoMerga+=(tree.second[i].y-root->Right->value)*(tree.second[i].y-root->Right->value); double mergaMean=(root->Left->value+root->Right->value)/2; for(int i=0;i<dataSet.size();i++) errMerga+=(dataSet[i].y-mergaMean)*(dataSet[i].y-mergaMean); if(errMerga<errNoMerga) {/*cout<<"Merga"<<endl;*/return new RegTree(-1,mergaMean);} else return root; } return root; } int ccnt=0; void displayTree(RegTree *root) { if(root->Left->dim!=-1) displayTree(root->Left); else {printf("Leaf:%.2lf\n",root->Left->value);ccnt++;} if(root->Right->dim!=-1) displayTree(root->Right); else {printf("Leaf:%.2lf\n",root->Right->value);ccnt++;} } double forcast(RegTree *root,Data data) { if(root->dim==-1) return root->value; //in case the super root is a leaf if(data.feature[root->dim]>root->value) { if(root->Left->dim!=-1) return forcast(root->Left,data); else return root->Left->value; } else { if(root->Right->dim!=-1) return forcast(root->Right,data); else return root->Right->value; } } void forcastAll(RegTree *root,vector<Data> dataSet) { for(int i=0;i<dataSet.size();i++) { double y=forcast(root,dataSet[i]); printf("origin:%.2lf forcast:%.2lf\n",dataSet[i].y,y); } } int main() { read(); RegTree *root=buildTree(dataSet); root=prune(root,addSet); forcastAll(root,testSet); }