机器学习笔记之十九——决策树的损失函数（补充）

  决策树生长的核心在于如何选择最优特征作为当前结点分割的特征。

  当决策树如此生长完成后，对训练集程度会很好，但是对测试集一般都会出现高方差、过拟合的现象，如何预防这种现象，就是之前提到的预剪枝、后剪枝方法。

  而剪枝过程换个方法来讲，其实就是在优化降低Loss function的的过程。

  Loss function

    设决策树T的叶节点个数为, 是树的叶节点，该叶节点有个样本点，其中 k 类的样本点有个，,

为该叶节点的信息熵，为参数，则决策树学习的损失函数可以定义为：

                                                                           -----------李航，《统计学习方法》

公式翻译过来，就是每个叶子节点的 样本点数量 * 该结点的信息熵，再加上一个正则项。

优化之……