算法-决策树详解

决策树

1.1 原理

决策树就是用一棵树来表示我们整个决策过程。这棵树可以是二叉树（比如CART只能是二叉树），也可以是多叉树（比如ID3、C4.5可以是多叉也可以是二叉树）

决策树的生成就是不断选择最优的特征对训练集进行训练

1.2 熵

1.2.1 熵定义

熵越小，代表数据纯度越高，也就是数据越整齐，容易观察
熵越大，代表数据越杂乱无章，数据越不易处理

1.2.2 信息熵

表示一个系统整齐或者混乱的一个程度，类型是数值。

1.2.3 条件熵

可以理解为某个条件下产生的信息熵，按某个特征划分后的熵

1.2.4 信息增益

信息增益也就是选择各种条件熵，用信息熵减去条件熵，计算各个特征下信息熵的信息增益，也就是每个特征带来的信息增益，之后就可以确定谁的信息增益可以带来的收益最高，也就是选择哪个特征进行生成我们的决策树。
下面请看一个例子：

这里以是否购买一件商品为例子，可以分别从四个特征中计算他的信息增益，这里只介绍计算大小的方法，之后通过计算条件熵和信息熵相减，得出信息增益，从中选取最大的信息增益的特征作为我们决策树的下一条选择的分支。