机器学习笔记之十九——决策树的损失函数(补充)

  决策树生长的核心在于如何选择最优特征作为当前结点分割的特征

  当决策树如此生长完成后,对训练集程度会很好,但是对测试集一般都会出现高方差、过拟合的现象,如何预防这种现象,就是之前提到的预剪枝、后剪枝方法。

  而剪枝过程换个方法来讲,其实就是在优化降低Loss function的的过程。

  Loss function

    设决策树T的叶节点个数为|T|t是树T的叶节点,该叶节点有N_t个样本点,其中 k 类的样本点有N_{tk}个,k=1,2,\cdot \cdot \cdot ,K,

H_t(T)为该叶节点的信息熵,\alpha \geq 0为参数,则决策树学习的损失函数可以定义为:

                                          C_a(T)=\sum ^{|T|}_{t=1}N_tH_t(T)+\alpha |T|                                 -----------李航,《统计学习方法》

公式翻译过来,就是每个叶子节点的 样本点数量 * 该结点的信息熵,再加上一个正则项。

优化之……

你可能感兴趣的:(机器学习)