决策树系列算法总结——决策树

在机器习算学法中,如果留意的话会一直看到这几个算法的身影。下面对这三个算法进行一下梳理。

Decision Tree ——>Random Forest ——>DBDT

基本概念:

Decision Tree:决策树

Random Forest:中文称随机森林

GBDT:Gradient Boosting Decision Tree(梯度提升决策树)。

三者关系:
提到森林,我们就会联想到是一棵棵的树构成了庞大的森林,而本文中的”树“,指的就是Decision Tree —— 决策树。随机森林就是一棵棵决策树的组合,也就是说随机森林=boosting+决策树,这样就好理解多了吧。再来说说GBDT,GBDT全称是Gradient Boosting Decision Tree,就是梯度提升决策树,与随机森林的思想很像,但是比随机森林稍稍的难一点,当然效果相对于前者而言,也会好许多。

Decision Tree

决策树。看到这个名称的时候,相信有的人会attention到tree,于是脑海中就是一个树。有编程基础的你可能会联想到数据结构里面树的结构。而决策树就是利用了树的思想。

定义:

决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。

举一个例子:(借用人家一个简单的例子)
决策树系列算法总结——决策树_第1张图片
该案例用于预测贷款用户是否具有偿还贷款的能力。贷款用户主要具备三个属性:是否拥有房产,是否结婚,平均月收入。每一个内部节点都表示一个属性条件判断,叶子节点表示贷款用户是否具有偿还能力

决策树构造:

可以通过特征选择、剪枝,介绍如何根据已有的样本数据建立一棵决策树。首先介绍下特征选择。选择一个合适的特征作为判断节点,可以快速的分类,减少决策树的深度。决策树的目标就是把数据集按对应的类标签进行分类。最理想的情况是,通过特征的选择能把不同类别的数据集贴上对应类标签。特征选择的目标使得分类后的数据集比较纯。如何衡量一个数据集纯度,这里就需要引入数据纯度函数。下面将介绍两种表示数据纯度的函数。

a、信息增益
信息熵表示的是不确定度。均匀分布时,不确定度最大,此时熵就最大。当选择某个特征对数据集进行分类时,分类后的数据集信息熵会比分类前的小,其差值表示为信息增益。信息增益可以衡量某个特征对分类结果的影响大小。(略)

b、基尼指数
基尼指数是另一种数据的不纯度的度量方法。(略)

算法原理:

Decision Tree算法是一个分类算法。相比贝叶斯算法(后面会补充上贝叶斯和贝叶斯网络两种分类算法),决策树的优势在于构造过程不需要任何领域知识或参数设置,因此在实际应用中,对于探测式的知识发现,决策树更加适用。

总结下,决策数有两大优点:1)决策树模型可以读性好,具有描述性,有助于人工分析;2)效率高,决策树只需要一次构建,反复使用,每一次预测的最大计算次数不超过决策树的深度。

算法推导

你可能感兴趣的:(机器学习)