1.经验熵
随机变量X概率分布：P(X =xi) =pi, i =l,2, ... ,n（n为X的类别数）
随机变量X的熵（信息熵）：
信息熵
2.经验条件熵
条件熵H(Y|X)：表示在已知随机变量X的条件下随机变量Y的不确定性，即X给定的条件下随机变量Y的条件熵。
条件熵
H(Y)又称为经验熵，H(Y | X)又称为经验条件熵。
3.信息增益
特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定下D的经验条件熵H(D | A)之差。
信息增益越大，则特征A具有越强的分类能力。
信息增益
4.信息增益比
信息増益值的大小是相对于训练数据集而言的，并没有绝对意义.在分类问题困难时，也就是说在训练数据集的经验熵大的时候，信息増益值会偏大。反之，信息増益值会偏小。使用信息増益比可以对这一问题进行校正。这是特征选择的另一准则。
特征A对训练数据集D的信息增益比gR(D, A)定义为其信息增益g(D, A)与训练数据集D关于A的值的熵HA(D)之比。
信息增益比
其中，
n为特征A所取值的个数。
5.剪枝
目标，极小化损失函数。
损失函数
其中，
信息熵
参数介绍：
设树T的叶节点个数为| T |；
t为树T的某一叶节点；
该叶节点上有Nt个样本点；
这些样本点共分k类，每类个数为Ntk个；
α>=0，为参数，控制模型对训练数据拟合度C(T)和模型复杂度
| T |在损失函数中的占比：
（1）α越大，树越简单，泛化越好，但训练拟合越差；
（2）α越小，树越复杂，泛化越差，但训练拟合越好。