一文全解：ID3，CART和C4.5的区别与联系

ID3

ID3是最早的决策树，它的特点如下：

• 输入的是离散型变量，如果数据中有连续变量，应进行分箱操作。

• 使用计算不纯度的公式是交叉熵Entropy。
  $Entropy(t)=-{\sum }_{i=1}^{c}p(i|t)lo{g}_{2}p(i|t)$

• 生长的过程是每次都对最能够下降不纯度的特征进行切分。

• 每次切分就是按照特征中的离散值的个数进行切分，特征中有多少个离散值，就切分成为多少个子集。每次生长，都会消耗一个特征。

• 使用Information Gain来对切分点和切分特征进行判断，每次选择最能减小不纯度的方案。

• ID3总是会选择离散值多的特征进行优先切分，容易造成过拟合。

• 没有有效的剪枝方案。

C4.5

C4.5是对ID3的优化，防止它过拟合，他的特征如下：

• C4.5引入了一个$InformationValue$指标来衡量特折的混乱程度，计算公式与Entropy相同。$P(v_i)$表示该特征中第$i$个离散值下的样本数量占总体样本的比值，该特征离散值越多，$InformationValue$就越大。
  $InformationValue=-{\sum }_{i=1}^{K}P(v_i)lo{g}_{2}P(v_i)$

• 使用$InformationValue$修正$InformationGain$，得到C4.5的不纯度衡量公式$InformationRatio$。
  $GainRatio=\frac{InformationGain}{InformationValue}$

CART

CART是目前使用最广的决策树，也是sklearn集成的DecisionTree的基本树。它的特征如下：

• 输入可以是离散值和连续值。

• 使用Gini来计算不纯度的计算。
  $Gini(t)=1-{\sum }_{i=1}^{c}p(i|t{)}^2$

• 生长的过程是每次对某一个样本进行一次切分(将节点的样本一分为二)。对比ID3是将样本一分为n。所以CART可以对同一个样本进行多次切分，（ID3则是消耗了某一个特征，不再进行同一个特征的切分。）

• 也是使用Information Gain来对切分点和切分特征进行判断，每次选择最能减小不纯度的方案。

• 可以使用：1、限制叶子节点的数目；2、限制树的深度；3、限制最小叶子节点的样本数量；4、限制最小不纯度的切分前提；等方法来防止过拟合。