【决策树算法】{3} —— CART算法

CART算法

CART（Classification and Regression Tree，即分类回归树算法）是一种著名的决策树学习算法，可用于分类和回归任务。

---

$CART$ 算法使用“基尼指数”来选择划分属性。

---

基尼指数

假定当前样本集合 $D$ 中第 $k$ 类样本所占的比例为$P_k(k=1,2,...,|y|)$。

数据集 $D$ 的纯度可用基尼值来度量：
$$Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|y|}{p}_k(1-p_k)=1-\sum _{k=1}^{|y|}{p}_k^2$$
直观来说，$Gini(D)$ 反映了从数据集 $D$ 中随机抽取 $2$ 个样本，其类别标记不一致的概率。因此，$Gini(D) $ 越小，基尼值越小，则数据集 $D$ 的纯度越高。属性 $\alpha$ 的基尼指数定义：
$$Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$$
基尼指数越小，表示使用属性 $a$ 划分后纯度的提升越大。因此，在属性集合 $A$ 中，选择基尼指数最小的属性 $a$ 作为最优划分属性，即 $a_{\ast }=ar{g}_{a\in A}minGini\_index(D,a)$。

$CART$ 算法中主要分为两个步骤

1. 将样本递归划分进行建树过程

2. 用验证数据进行剪枝

---

Reference：《机器学习》