机器学习之决策树算法介绍

决策树介绍

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，最早产生于上世纪60/70年代，由J Ross Quinlan提出了ID3算法和C4.5算法。C4.5算法在ID3算法的基础上进行了改进，对与预测变量的缺值处理，剪枝技术，派生规则等方面做了较大的改进，既适合于分类问题，又适用于回归问题。

决策树原理：信息增益、信息增益率与基尼系数

决策树原理-ID3

决策树原理-C4.5

决策树原理-基尼系数