决策树(3)-sklearn实现及可视化画图
仍然使用之前得数据
from sklearn.feature_extraction import DictVectorizer
from sklearn import tree
from sklearn import preprocessing
import csv
import numpy as np
源代码：
read=csv.reader(open('data1.csv','r'))
报错：
'gbk' codec can't decode byte 0x94 in position 8: illegal multibyte sequence
修改：
read=csv.reader(open('data1.csv','r',encoding='utf-8'))
出现问题：
'\ufeff天气', '温度', '湿度', '风]
当我们读取的文件或者写入文件时有时候会出现"\ufeff"非法字符，这个时候需要改变编码方式‘UTF-8‘为‘UTF-8-sig‘
#读入数据
read=csv.reader(open('/root/jupyter_projects/data/data1.csv','r',encoding='utf-8-sig'))#不加编码方式会报错
#获取第一行数据
headers=read.__next__()
print(headers)
#定义两个列表
featureList=[]
labelList=[]
for row in read:
labelList.append(row[-1])
rowDict={}
for i in range(0,len(row)-1):
rowDict[headers[i]]=row[i]
#建立一个数据字典
#把字典存入列表
featureList.append(rowDict)
print(featureList)
['天气', '温度', '湿度', '风速', '活动']
[{'天气': '晴', '温度': '炎热', '湿度': '高', '风速': '弱'}, {'天气': '晴', '温度': '炎热', '湿度': '高', '风速': '强'}, {'天气': '晴', '温度': '适中', '湿度': '高', '风速': '弱'}, {'天气': '晴', '温度': '寒冷', '湿度': '正常', '风速': '弱'}, {'天气': '晴', '温度': '适中', '湿度': '正常', '风速': '强'}, {'天气': '阴', '温度': '炎热', '湿度': '高', '风速': '弱'}, {'天气': '阴', '温度': '寒冷', '湿度': '正常', '风速': '强'}, {'天气': '阴', '温度': '适中', '湿度': '高', '风速': '强'}, {'天气': '阴', '温度': '炎热', '湿度': '正常', '风速': '弱'}, {'天气': '雨', '温度': '寒冷', '湿度': '正常', '风速': '强'}, {'天气': '雨', '温度': '适中', '湿度': '高', '风速': '强'}, {'天气': '雨', '温度': '适中', '湿度': '高', '风速': '弱'}, {'天气': '雨', '温度': '寒冷', '湿度': '正常', '风速': '弱'}, {'天气': '雨', '温度': '适中', '湿度': '正常', '风速': '弱'}]
#把数据转换成01表示
vec=DictVectorizer()
x_data=vec.fit_transform(featureList).toarray()
print(x_data)
print(vec.get_feature_names_out())
#10列即时把每个特征的每个取值都作为一列
[[1. 0. 0. 0. 1. 0. 0. 1. 1. 0.]
[1. 0. 0. 0. 1. 0. 0. 1. 0. 1.]
[1. 0. 0. 0. 0. 1. 0. 1. 1. 0.]
[1. 0. 0. 1. 0. 0. 1. 0. 1. 0.]
[1. 0. 0. 0. 0. 1. 1. 0. 0. 1.]
[0. 1. 0. 0. 1. 0. 0. 1. 1. 0.]
[0. 1. 0. 1. 0. 0. 1. 0. 0. 1.]
[0. 1. 0. 0. 0. 1. 0. 1. 0. 1.]
[0. 1. 0. 0. 1. 0. 1. 0. 1. 0.]
[0. 0. 1. 1. 0. 0. 1. 0. 0. 1.]
[0. 0. 1. 0. 0. 1. 0. 1. 0. 1.]
[0. 0. 1. 0. 0. 1. 0. 1. 1. 0.]
[0. 0. 1. 1. 0. 0. 1. 0. 1. 0.]
[0. 0. 1. 0. 0. 1. 1. 0. 1. 0.]]
['天气=晴' '天气=阴' '天气=雨' '温度=寒冷' '温度=炎热' '温度=适中' '湿度=正常' '湿度=高' '风速=弱' '风速=强']
lb=preprocessing.LabelBinarizer()
y_data=lb.fit_transform(labelList)
print(y_data)
[[0]
[0]
[0]
[1]
[1]
[1]
[1]
[1]
[1]
[0]
[0]
[1]
[1]
[1]]
model=tree.DecisionTreeClassifier(criterion='entropy')
model.fit(x_data,y_data)#训练模型
对应该函数得参数可以看这篇博客：scikit-learn决策树算法类库使用小结
DecisionTreeClassifier(criterion='entropy')
x_test=np.array([1,0,0,0,0,1,0,1,0,1])
predict=model.predict(x_test.reshape(1,-1))
print(predict)#做预测
[0]
安装决策树画图工具
①安装grahpviz包
[root@iZbp173czfyjpvvdm6k4amZ data] pip3.8 install graphviz
②安装graphvia工具(linux)
到官网找到对应系统版本下载 http://www.graphviz.org/download/
下面是Linux下的直接用yum安装
[root@iZbp173czfyjpvvdm6k4amZ data]# yum install graphviz
Invalid configuration value: failovermethod=priority in /etc/yum.repos.d/CentOS-epel.repo; Configuration: OptionBinding with id "failovermethod" does not exist
Repository epel is listed more than once in the configuration
Last metadata expiration check: 3:05:35 ago on Tue 18 Jan 2022 08:42:01 AM CST.
Package graphviz-2.40.1-43.el8.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!
windows需要将 graphviz 安装目录下的 bin 文件夹路径添加到环境变量中
import graphviz
dot_data=tree.export_graphviz(model,
out_file=None,
feature_names=vec.get_feature_names_out(),
class_names=lb.classes_,
filled=True,
rounded=True,
special_characters=True)
graph=graphviz.Source(dot_data)
graph.render('computer')
'computer.pdf'
graph#画图
画出的决策树看起来与我们自己构造出来的决策树不太一样，这里只有2各分支，其实决策树算法慢慢发展，决策树一般都做成了二叉树，每个节点只有两个分支，左边全部都默认为true，右边为false
那么这个决策树是怎么看的呢？
首先来看最上边的那个结点，第一行是判断条件，即天气=阴 是否小于0.5，根据上面可以知道，天气=阴的时候为1，所以是false，直接看右边。第二行为信息熵。第三行是所有样本最终结果的各个取值值得实例个数，即活动取消和进行得个数，第4行时说如果没有下面得结点得话就跟随实列数目最多得那个类别。接下来看第二行得，由于天气=阴为1，为假来到右边，所有当天气=阴时活动都会进行下去。当天气=晴或者雨时，为真来到左边。继续按第一行得结点得判断方法进行判断。