分类:一个简单的决策树例子

《老饼讲解机器学习》http://ml.bbbdata.com/teach#93

目录

一.问题

二.流程与代码

(一) 流程

(二) 代码

(三) 输出

---

一个简单的决策树例子(附python代码) ----实现CART分类树 (回归树查看文末链接)

一.问题

现已采集150组 鸢尾花数据：鸢尾花类别（山鸢尾,杂色鸢尾,弗吉尼亚鸢尾）与四个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）。

则我们可以通过采集的数据训练一个决策模型，之后就可以用该模型进行预测鸢尾花类别

数据如下（即sk-learn中的iris数据）：

花萼长度	花萼宽度	花瓣长度	花瓣宽度	花类别
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
...	...	...	...	...
5.0	3.3	1.4	0.2	0
7.0	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
...	...	...	...	...
5.7	2.8	4.1	1.3	1
6.3	3.3	6.0	2.5	2
5.8	2.7	5.1	1.9	2
7.1	3.0	5.9	2.1	2
...	...	...	...	...
5.9	3.0	5.1	1.8	2

二.流程与代码

(一) 流程

1.建立决策树模型，
2.用数据训练决策树模型。
3.用训练好的决策树模型预测。

(二) 代码

from sklearn.datasets import load_iris
from sklearn import tree

#----------------数据准备----------------------------
iris = load_iris()                          # 加载数据

#---------------模型训练----------------------------------
clf = tree.DecisionTreeClassifier()         # sk-learn的决策树模型
clf = clf.fit(iris.data, iris.target)        # 用数据训练树模型构建()
r = tree.export_text(clf, feature_names=iris['feature_names'])


#---------------模型预测结果------------------------
text_x = iris.data[[0,1,50,51,100,101], :]
pred_target_prob = clf.predict_proba(text_x)        # 预测类别概率
pred_target = clf.predict(text_x)              # 预测类别

#---------------打印结果---------------------------
print("\n===模型======")
print(r)
print("\n===测试数据：=====")
print(text_x)
print("\n===预测所属类别概率：=====")
print(pred_target_prob)
print("\n===预测所属类别：======")
print(pred_target)

(三) 输出

花萼长度sepal length (cm) 、花萼宽度sepal width (cm)、花瓣长度petal length (cm)、花瓣宽度petal width (cm)

===模型======
|--- petal length (cm) <= 2.45
|   |--- class: 0
|--- petal length (cm) >  2.45
|   |--- petal width (cm) <= 1.75
|   |   |--- petal length (cm) <= 4.95
|   |   |   |--- petal width (cm) <= 1.65
|   |   |   |   |--- class: 1
|   |   |   |--- petal width (cm) >  1.65
|   |   |   |   |--- class: 2
|   |   |--- petal length (cm) >  4.95
|   |   |   |--- petal width (cm) <= 1.55
|   |   |   |   |--- class: 2
|   |   |   |--- petal width (cm) >  1.55
|   |   |   |   |--- sepal length (cm) <= 6.95
|   |   |   |   |   |--- class: 1
|   |   |   |   |--- sepal length (cm) >  6.95
|   |   |   |   |   |--- class: 2
|   |--- petal width (cm) >  1.75
|   |   |--- petal length (cm) <= 4.85
|   |   |   |--- sepal width (cm) <= 3.10
|   |   |   |   |--- class: 2
|   |   |   |--- sepal width (cm) >  3.10
|   |   |   |   |--- class: 1
|   |   |--- petal length (cm) >  4.85
|   |   |   |--- class: 2

===测试数据：=====
[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [7.  3.2 4.7 1.4]
 [6.4 3.2 4.5 1.5]
 [6.3 3.3 6.  2.5]
 [5.8 2.7 5.1 1.9]]

===预测所属类别概率：=====
[[1. 0. 0.]
 [1. 0. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 0. 1.]
 [0. 0. 1.]]

===预测所属类别：======
[0 0 1 1 2 2]

以上就是决策树的最简例子。