【机器学习 & 决策树（分类算法）】信息熵 || ID3算法 || C4.5算法 || Cart算法 || ID3算法示例 || 导出决策树

一、决策树 简介

以找男朋友为例，见与不见：

决策树算法：

例如，看一个人是否买电脑：

根据上面这个表格，我们可以建立一棵决策树，如下：

那么为什么要选年龄作为根节点？这是根据前面的决策树算法得到的。当然选择不同的根节点，得到的决策树也是不同的。

最终的决策树是这样子的：下面说明是如何得到的。

二、信息熵

信息熵的概念：