R与回归树模型

基本的回归树


简而言之,这个就是一个树模型
它的要求是:
1.分类指标不同
2.每个节点预测的模型是线性模型
3.同样的样本,会采用树上的不同模型进行预测

也就是说,树模型就是一个模型的集合,在每一个分支设立一个条件,不同条件的数据分配给不同的模型
线性的回归树既是树模型中每个节点的模型都是线性回归模型

我们采用如下式子进行错误率的计算:



其中n*是训练集数据的数量;p是线性模型参数的个数y帽是预测值,y是真实值

Bagged tree

这个方法是为了减少树模型的高差异所带来的困扰,即将一个数据集安条件分为两个数据集建立树模型,那么这两个数据集训练的模型都会有一定的差异,那么两个数据集叠加的差异就更大了,减少这种差异的方法就是多次选取训练集,然后去这些训练结果的均值,但是往往我们没有那么多训练集,只能重复抽取该训练集的一部分,然后取结果的平均值
但是带来的问题是由于抽取的是训练集的一部分,可能再训练效果是会打折扣

当然根据树每个节点的模型能力,最后还进行适当的剪枝

你可能感兴趣的:(R与回归树模型)