Python数据挖掘学习笔记（5）决策树分类算法----以ID3为例
一、相关原理
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。
在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3、C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell's Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。
总而言之，决策树又叫做分类树，它是一种十分常用的分类方法。同时也是一种监督学习，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类，这样的机器学习就被称之为监督学习。
二、数据准备
现有若干外卖商户信息示例数据如下：
下载地址：链接：https://pan.baidu.com/s/1sC2tSUJlCN7O1kO8A9tH7g 提取码：0vhf
三、实现思路
目标：在已知“是否中餐”、“餐品数”、“是否满减”、“是否有运费”的条件下，预测新商户的外卖销售购买量。
四、编写代码
1、模块准备：
#用来导入数据
import pandas as pda
#用来建立决策树
from sklearn.tree import DecisionTreeClassifier as DTC
#用来可视化决策树
from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO2、数据准备：
#导入数据
fname="E:/Meal.csv"
dataf=pda.read_csv(fname)
#读取自变量数据，即“是否中餐”、“餐品数”、“是否满减”、“是否有运费”等
x=dataf.iloc[:,1:5].values#除.values还可以使用.as_matrix()，但不推荐
#读取因变量数据，即购买量
y=dataf.iloc[:,5].values3、数据处理：
（1） 由于现有的矩阵里的信息都是“高低”、“多少”、“是否”等表述，需将它们转换为数字。
（2）注意不要拿处理后的矩阵直接dtc训练，因为目前x是object类型的，y是一维数组而不是二维的，因此需要进行格式转换，将它们转换为二维数值矩阵。方法是先将它们转化为数据框，然后再转化为数组并指定格式。
#将矩阵元素转换为数字
for i in range(0,len(x)):
for j in range(0,len(x[i])):
thisdata=x[i,j]
if(thisdata=="是" or thisdata=="多" or thisdata=="高"):
x[i,j]=int(1)
else:
x[i,j]=int(-1)
for i in range(0,len(y)):
thisdata=y[i]
if(thisdata=="高"):
y[i]=1
else:
y[i]=-1
#先转换为数据框
xf=pda.DataFrame(x)
yf=pda.DataFrame(y)
#再转换为数值数组
x2=xf.values.astype(int)
y2=yf.values.astype(int)4、建立决策树：
#依据信息熵建立决策树
dtc=DTC(criterion="entropy")
dtc.fit(x2,y2)#导入训练数据5、可视化决策树：
#可视化决策树，指定四个自变量的名称
with open("E:/dtc.dot","w") as file:
export_graphviz(dtc,feature_names=["MealType","ItemNum","MoneyOff","Freight"],out_file=file)之后，即可在目标目录下找到可视化的决策树文件dtc.dot，需要安装graphviz进行打开。
五、使用graphviz查看决策树可视化结果
1、安装Graphviz：下载地址：http://down2.opdown.com:8081/opdown/graphviz.zip
2、安装完毕后，进入安装目录的bin文件夹，保存当前的路径地址。
3、将保存的路径地址加入系统环境变量Path，如图：
4、打开CMD，通过cd指令进入代码生成的dtc.dot文件所在目录，输入以下指令并回车：
dot -Tpng dtc.dot -o food.pngdtc.dot是上面代码生成的决策树可视化文件，food.png是该文件转换的图片文件名称。我的运行截图如下：
5、进入代码生成的dtc.dot的同级目录，可以看到转换的food.png文件已生成：
六、可视化结果解释
以顶层为例：
第一行表示筛选条件，即是否为中餐，由于是表示为1，否表示为-1，因此若为是则向右分支，若为否则向左分支。
第二行表示信息熵的大小，此处为0.999，信息熵越大，则表示可信度越高。
第三行表示样本数，此处为29条，也是数据的总数。
第四行表示下面一层分支的数目，是否中餐的判别中若为是则向右分支共15个，若为否则向左分支共14个。
然后每往下一层，则表示根据自变量删选了一次，如左侧分支第二层表示是否为中餐的结果，左侧分支第三层表示是否满减的结果，左侧分支第四层表示餐品数的筛选结果，左侧分支第五层表示是否有运费的筛选结果。
七、使用决策树结果进行预测
现有一个商户数据：“是否中餐”：否、“餐品数”：多、“是否满减”：是、“是否有运费”：否
要运用决策树对该商户的购买量进行预测：
（1）首先看到其“是否中餐”为否，则进入左分支。
（2）再看到其“是否满减”为是，则进入右分支。
（3）其“餐品数”为多，则进入右分支。
（4）其“是否有运费”为否，则进入左分支。
路线如下图：
看到最后的结果：
则可得出结果，销量高的可能性较大，因为value中2>1.