【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。

之前我们的案例,使用准确率作为指标,其实ID3和C4.5,C5.0是用的其他公式来筛选字段。

为什么我们不使用错误率来作为字段好坏的指标呢,因为很多字段的错误率会相同,就说之前的案例,2个字段都是提高5/11。没法细分字段好坏。

ID3公式使用:INmformation信息获利

C4.5/C5.0:Gain Ratio信息获利比例     CART:gini Index     CHAID:一种统计量Chi-Square

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第1张图片

我们把这种选择的指标叫做goodness function。

      1. ID3分类树算法

-ID3的字段选择方法、ID3算法的一些问题。

ID3的goodness function:

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第2张图片

我们首先去看这些字段的记录,是不是偏某一类,因为我们倾向用字段进行切割之后,它的结果是偏那一类的。

我们可以发现yes有9个no有5个

我们想看看这9个yes,5个no是不是平均分布,还是偏向某一类。

我们应用化学的一个方法Entropy(熵),来达到上面的想法。

我们的公式是最后一行,负号是为了结果为正数。Entropy是在0~1之间如果Entropy越接近1,那么这个数据就越平均,如果Entropy越接近0,代表它偏向某一类。上面的案例求出的结果是0.940,所以趋近平均分布。最平均肯定是7:7,最不平均就是0:14

我们回到案例

根节点:9:5 entropy=0.94

根据年龄字段进行分割

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第3张图片

根据年龄字段进行分割的这一层,entropy的值就是:按各自的比例与各自的entropy乘积。是0.694,。说明它已经偏向某一类了。原本我们的数值的0.94.如果越偏某一类,entropy的值就会越小。

所以我们ID3是运用entropy来表示该字段切割得到效果。

信息获利:40-0.649=0.246.让我的数据偏向某一类的程度。信息获利越大,说明预测结果越准确。

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第4张图片

从这个图我们可以看出,左边的表格学生与年级的比例相同,可以拿学生的进行切割,entropy可以直接下降到0

从右边的图我们可以看出,如果用信誉评分来做分割,就可以让entropy下降到0

最终的决策树如下

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第5张图片

ID3是不会做减枝条的成立。它会把数据的gain的值降到最低。

ID3的4大缺点:

1.会倾向使用字段的分支最多。(因为分支越多,就越容易把数据区分开。)但其实字段多少,不应该区分字段选择。

比如:

【机器学习算法】决策树-2 ID3分类树算法的决策依据,ID3算法的4大缺点。_第6张图片

这里面ID没删,它就会把ID分为很多枝。

这样对测试数据有效吗?完全无效

2.ID3假设所有字段都属于类别字段。 如果数值型字段不做分箱,它是识别不出来数值型字段。分箱怎么分,也是需要考虑的。

3.ID3假设所有值都不会有空值,有缺失值必须填补后在。C4.5就可以处理

4.它(not prune tree)不进行减枝处理。容易出现过拟合情况。

你可能感兴趣的:(数据分析师,机器学习,算法,决策树,数据挖掘)