机器学习-利用信息熵来学习如果分辨好西瓜
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。
我们通常用Entropy（信息熵来度量划分的凌乱程度）。
Ent（D）越小，则信息熵的复杂程度越低，D的纯度（一种刻画信息熵度量的单位）越高。而信息增益则是直接以信息熵为基础，刻画当前划分对信息熵所造成的变化。这个方法主要应用在ID3模型中。
离散属性a的取值
:
:D中在a上取值=
的样本集合
以属性a对数据集D进行划分所获得的信息增益为：
讲到这里我们引入一个西瓜数据集来说明计算机是如何根据西瓜的特征学习并判断一个西瓜的好坏。
这个数据集里面包含了17个训练样例，有两个结果类别，好瓜和坏瓜。好瓜比例为
，坏瓜比例为
,则根节点的信息熵为
现在我们可以选择分类的属性有色泽、根蒂、敲声、纹理、脐部、触感，那么哪一个属性的重要性更高了，这里我们用信息熵增益来判断以哪种属性进行分类会更好。
这里以色泽为例：共分为三类｛青绿、浅白、乌黑｝分别对应D1,D2,D3,子集D1中包括了｛1，4，6，10，13，17｝6个实例，其中好瓜占比0.5，坏瓜占比0.5，D2，D3同理可求，Ent(D1)=1.000,Ent(D2)=0.918,Ent(D3)=0.722，代入属性“色泽”的信息增益为
同上，Gain(D,根蒂）=0.143，Gain(D,敲声）=0.141，Gain(D,纹理）=0.381，Gain（D，脐部）=0.289，Gain（D，触感）=0.006
在这里纹理的信息熵增益最大，故因被选为划分属性，然后进一步对每个分支节点做进一步划分，最终形成决策树。下面我们借助DecisionTreeClassifier来完成西瓜模型的建立。
import pandas as pd
from sklearn import model_selection
data=pd.read_csv('./watermelon.csv',encoding='gbk')#读取用excel表格处理的西瓜数据，需要使用微软自带的gbk编码，不然会出问题
features=['色泽','根蒂','敲声','纹理','脐部','触感']#获取csv里面的属性
x=data[features]#相关属性
y=data['好瓜']#结果
def load_data():
return model_selection.train_test_split(x,y,test_size=0.3,random_state=0)
x_train,x_test,y_train,y_test=load_data()
#接下来需要把特征向量化
from sklearn.feature_extraction import DictVectorizer
dict_vec=DictVectorizer(sparse=False)
x_train=dict_vec.fit_transform(x_train.to_dict(orient='record'))
x_test=dict_vec.fit_transform(x_test.to_dict(orient='record'))
print(dict_vec.feature_names_)
from sklearn.tree import DecisionTreeClassifier,export_graphviz
clf=DecisionTreeClassifier(criterion='entropy')#用信息熵来建立树模型ID3
clf.fit(x_train,y_train)#训练模型
print(clf.score(x_train,y_train))#结果1.0，过拟合，这里数据比较少
#print(clf.score(x_test,y_test))
export_graphviz(clf,'/home/jovyan/out')
print(x_train.info())out：
['敲声=沉闷', '敲声=浊响', '敲声=清脆', '根蒂=硬挺', '根蒂=稍蜷', '根蒂=蜷缩', '纹理=清晰', '纹理=稍糊', '脐部=凹陷', '脐部=平坦', '脐部=稍凹', '色泽=乌黑', '色泽=浅白', '色泽=青绿', '触感=硬滑', '触感=软粘']
1.0这里绘制对应的决策树如下：
