吃瓜教程——讲一下决策树原理

基本流程

我们想要调到一个好瓜,但是看看瓜皮绿不绿,拍一下响不响,所以就是从一系列子决策来判断
吃瓜教程——讲一下决策树原理_第1张图片

这里提出一些问题?

先决策谁好捏?如何就通过拍一拍西瓜,就知道好坏,就不用再进行其他决策了,那对于一千个瓜来说,效率可就大大提升了

退而求之,我就通过比较重要的几个决策判断是不是好瓜,这样也提升效率了

拍一拍看起来熟的瓜真的熟吗?看起来不熟的瓜真的不熟吗?

划分选择

如果我决策一次就知道瓜好坏了,是不是效果就很好——调整决策的顺序,提升决策的“纯度”

信息增益

这里定义一个信息熵:
在这里插入图片描述

Ent的最小值是0纯度最高,当我们把每个决策条件的Ent都算出来之后,看看怎么调整会把信息增益变得最大,也就是对于节点影响越大。(大的当然放前面,小的放后面)

所以,我们把大家的信息增益算出来了: 在这里插入图片描述

增益大的在前面,小的在后面

增益率

增益率就是拿增益来算,来选择最优划分属性

剪枝处理

剪枝是用来对付过拟合的主要手段,因为决策太多的话,会把样本训练得太好,所以就没有变化,这里采用剪枝来减少过拟合风险,同时给出剪哪些枝好。

方法分为预剪枝和后剪枝,一个是生成的时候估计剪去谁,另外一个是训练完之后再剪

预剪枝

吃瓜教程——讲一下决策树原理_第2张图片

后剪枝

吃瓜教程——讲一下决策树原理_第3张图片

区别,一个从上往下剪,一个从下往上剪,然后分别判断能不能剪

多变量决策树

吃瓜教程——讲一下决策树原理_第4张图片

在此类决策树中,非叶结点不再是仅对某个属性,而是对属性的线性组合进行测试

你可能感兴趣的:(决策树,人工智能)