【机器学习算法】决策树(分类树及回归树)-1

    1. 决策树(分类树及回归树)
      1. 分类树和决策树的基本原理:

【机器学习算法】决策树(分类树及回归树)-1_第1张图片

分类树与回归树简介

结果字段来看,分类树必须是类别型的字段。回归树则是数值型的字段

他们的形态很像。建构的过程也很类似,只不过目标不同。

【机器学习算法】决策树(分类树及回归树)-1_第2张图片

分类树一般能得到比较精准的结果,而且解读性比较高。

分类树一般有C5.0,CART,CHAID,etc

其中C5.0是由ID3进化而来

ID3-C4.5-C5.0

J.RQuinlan它不断的修正,然后得到C4.5,才可以套用到企业的商业模式中去。1993推出了一本书(C4.5,Programma for machine Learning)

C5.0就变成了一个商业的软件,现在好像是开源了。这个算法非常重要。

CART的算法也非常重要

决策树这些都由上往下产生的分类树和回归树。

案例说明:

【机器学习算法】决策树(分类树及回归树)-1_第3张图片

首先,我们要建立分类树,要把所有的训练数据集合放入根节点。

第二步,我们要切割我们的数据集,根据我们选定的字段进行切割。第一笔分类树用眼睛颜色进行切割。我们同样也可以通过身高进行切割,那么我们应该选择哪个字段呢。

第三步,我们希望分类正确率最高。

希望大多的训练范例属于单一类别。

基本原理如下

比如,我们在根节点就进行预测,那么我们的正确率最高只能达到6/11,错误率是5/11

如果我们利用眼睛颜色,我们发现我们两个部分错误率是0中间的部分错误率是1/11.整体误差。眼睛这个信息程度对我们的重要性。帮我们解决了4/11

如果我们利用眼睛颜色,我们最少一共会猜错5/11,所以身高这个信息,对我们几乎没有帮助,不如眼睛这个信息程度。

分类树的切割方法是递回的切割方法,如果没法做到百分之百,就要继续切割。

【机器学习算法】决策树(分类树及回归树)-1_第4张图片

【机器学习算法】决策树(分类树及回归树)-1_第5张图片

第四步,剪枝。避免你的分类树,过拟合你的数据Tree Pruning(Overfitting Problem)这个步骤,是为了让你的数据不至于在训练数据时准确率很高,但是测试数据准确率却很低。

就像这个决策树,在眼睛为第一字段进行分类时,只有一笔会出现错误,但是因为这一笔错误,我们要再次拿一个字段进行切割。其实它是没有说服力的

就好像AB两种产品,我去问了一个路人,路人说A好喝。我们就说百分百都喜欢A

所以这个决策树虽然准确率达到百分百了,但是其实只是测试集准确率。我们就可以吧用头发作为字段切割这个分支可以剪掉,当然问卷量够多就不用剪掉。

而且你无法保证你的数据都是正确的,可能会有很多噪音在里面(noise)所以我们不要求训练集数全对。要求测试集准确率高才是我们的目标。

这里只是我们的案例,使用用准确率作为决策指标,其实ID3和C4.5,C5.0是用的其他公式来筛选字段。这个部分下次在和大家讲。

决策树后续内容

ID3分类树算法

-ID3的字段选择方法、ID3算法的一些问题。

不考虑剪枝。

C4.5分类树算法

-C4.5的字段选择方法,C4.5的数值型字段处理方式、C4.5的剪枝(避免过拟合)作法

CART分类树算法

-CART分类树的字段选择方法、CART分类树的剪枝作法。

CHAID分类树算法

-CHAID的字段选择方式

Cart字段回归树算法

CART回归树的字段选择方式、如何利用模型树来提升CART回归树的效能

PRISM决策规则算法

如何使用分类树来进行分类预测、分类树与分类规则间的关系

PRISM决策规则的产生方式。

你可能感兴趣的:(数据分析师,决策树,机器学习,算法,数据挖掘)