CART-GBRT-GBDT

CART:分类回归树

分类树和回归树的区别:分裂节点时使用的节点非纯度量(最小化准则、特征选择)不一样,修剪树的准则不一样

回归树:

  节点非纯度量:平方误差和

  区域估计值:均值(在给定的划分下,均值带来的平方误差和最小)

分类树:

  节点非纯度量:误分类误差、Gini指数、熵

      区域估计值:多数类

GBRT/GBDT:第m次训练使用的数据集为(xi,rmi),i=1...N,其中rmi表示前m-1棵树组成的模型fm-1在样本(xi,yi)上损失函数的负梯度(延f(x)方向)

问题:

GBRT中的损失函数跟节点非纯度量有关系吗?

GBRT中的区域估计值跟CART中的区域估计值有关系吗?

为什么不使用CART的区域估计值作为GBRT中的区域估计值?是因为损失函数的问题吗?

按维基百科的说法,γ实际是权重,bjm才是真正的区域估计,这又是怎么回事?维基

 

你可能感兴趣的:(ca)