决策树 ID3和CART算法

ID3算法

概念

(1)信息熵: 信息的混乱程度。
假定S为训练集，S的目标属性C具有m个可能的类标号值，C={C1,C2,…Cm},训练集中，Ci在所有样本中出现的频率为(i=1,2,3,…m)，则该训练集S所包含的信息熵为:
$$Entropy(S)=(p_1,p_2,...p_m)=-\sum _{i=1}^k{p}_{i}lo{g}_2{p}_i$$
熵越小表示样本对目标属性的分布越纯。

(2)信息增益： 样本数据集被划分前后数据集不纯程度(熵)的差值。
假定划分前样本数据集S,并用属性A来划分样本集S，则按照属性A划分S的信息增益Gain(S,A)为:
$$Gain(S,A)=Entropy(S)-Entrop{y}_A(S).$$
其中
$$Entrop{y}_A(S)=\sum _{i=1}^k|\frac{S_i}{S}|Entropy(S_i)$$
其中，$|S_i|(i=1,2,3,..)$为样本子集中的样本数目，$|S|$为所有样本数目。信息增益越大，说明使用属性A划分后的样本子集越纯。

(3)基尼指数: 假设有N个类，样本点为第k类的概率为$p_k$,则概率分布的基尼指数定义为:
$$Gini(p)=\sum _{k=1}^N{p}_k(1-p_k)=1-\sum _{k=1}^N{p}_k^2$$

函数

sklearn.tree.DecisionTreeClassifier

https://blog.csdn.net/e15273/article/details/79648502
https://blog.csdn.net/gzj_1101/article/details/78355234