机器学习之决策树算法介绍


决策树介绍


决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法,最早产生于上世纪60/70年代,由J Ross Quinlan提出了ID3算法和C4.5算法。C4.5算法在ID3算法的基础上进行了改进,对与预测变量的缺值处理,剪枝技术,派生规则等方面做了较大的改进,既适合于分类问题,又适用于回归问题。

决策树原理:信息增益、信息增益率与基尼系数

决策树原理-ID3

决策树原理-C4.5

决策树原理-基尼系数

你可能感兴趣的:(机器学习之决策树算法介绍)