SKlearn实现鸢尾花分类

1.鸢尾花数据集介绍：

Iris数据集是常用的分类实验数据集，由Fisher在1936收集整理。Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。基于Fisher的线性判别模型，该数据集成为了机器学习中各种分类技术的典型实验案例。

数据集如何获取：

在sklearn库中已经包含了一些经典的示例数据集，通过datasets载入。

2.分类基本原理：决策树

决策树简介

决策树是一种特殊的树形结构，一般由节点和有向边组成。其中，节点表示特征、属性或者一个类。而有向边包含有判断条件。如图所示，决策树从根节点开始延伸，经过不同的判断条件后，到达不同的子节点。而上层子节点又可以作为父节点被进一步划分为下层子节点。一般情况下，我们从根节点输入数据，经过多次判断后，这些数据就会被分为不同的类别。这就构成了一颗简单的分类决策树。

 决策树学习

我们将决策数的思想引入到机器学习中，就产生了一种简单而又经典的预测方法 —— 决策树学习（Decision Tree Learning），亦简称为决策树。决策树可以用来解决分类或回归问题，分别称之为分类树或回归树。其中，分类树的输出是一个标量，而回归树的一般输出为一个实数。

通常情况下，决策树利用损失函数最小的原则建立模型，然后再利用该模型进行预测。决策树学习通常包含三个阶段：特征选择、树的生成，树的修剪。

 特征选择

特征选择是建立决策树之前十分重要的一步。如果是随机地选择特征，那么所建立决策树的学习效率将会大打折扣。举例来讲，银行采用决策树来解决信用卡审批问题，判断是否向某人发放信用卡可以根据其年龄、工作单位、是否有不动产、历史信贷情况等特征决定。而选择不同的特征，后续生成的决策树就会不一致，这种不一致最终会影响到决策树的分类效率。

通常我们在选择特征时，会考虑到两种不同的指标，分别为：信息增益和信息增益比。要想弄清楚这两个概念，我们就不得不提到信息论中的另一个十分常见的名词 —— 熵。

熵（Entropy）是表示随机变量不确定性的度量。简单来讲，熵越大，随机变量的不确定性就越大。而特征 A 对于某一训练集 D 的信息增益 g(D, A) 定义为集合 D 的熵 H(D) 与特征 A 在给定条件下 D 的熵 H(D/A) 之差。

上面这段定义读起来很拗口，也不是特别容易理解。那么，下面我使用更通俗的语言概述一下。简单来讲，每一个特征针对训练数据集的前后信息变化的影响是不一样的，信息增益越大，即代表这种影响越大。而影响越大，就表明该特征更加重要。

 生成算法

当我们了解信息增益的概念之后，我们就可以学习决策树的生成算法了。其中，最经典的就数 John Ross Quinlan 提出的 ID3 算法，这个算法的核心理论即源于上面提到的信息增益。

ID3 算法通过递归的方式建立决策树。建立时，从根节点开始，对节点计算每个独立特征的信息增益，选择信息增益最大的特征作为节点特征。接下来，对该特征施加判断条件，建立子节点。然后针对子节点再此使用信息增益进行判断，直到所有特征的信息增益很小或者没有特征时结束，这样就逐步建立一颗完整的决策树。

除了从信息增益演化而来的 ID3 算法，还有一种常见的算法叫 C4.5。C4.5 算法同样由 John Ross Quinlan 发明，但它使用了信息增益比来选择特征，这被看成是 ID3 算法的一种改进。

ID3 和 C4.5 算法简单高效，但是他俩均存在一个缺点，那就是用“完美去造就了另一个不完美”。这两个算法从信息增益和信息增益比开始，对整个训练集进行的分类，拟合出来的模型针对该训练集的确是非常完美的。但是，这种完美就使得整体模型的复杂度较高，而对其他数据集的预测能力就降低了，也就是我们常说的过拟合而使得模型的泛化能力变弱。

当然，过拟合的问题也是可以解决的，那就是对决策树进行修剪。

决策树修剪

决策树的修剪，其实就是通过优化损失函数来去掉不必要的一些分类特征，降低模型的整体复杂度。修剪的方式，就是从树的叶节点出发，向上回缩，逐步判断。如果去掉某一特征后，整棵决策树所对应的损失函数更小，那就就将该特征及带有的分支剪掉。

由于 ID3 和 C4.5 只能生成决策树，而修剪需要单独进行，这也就使得过程更加复杂了。1984年，Breiman 提出了 CART 算法，使这个过程变得可以一步到位。CART 算法本身就包含了决策树的生成和修剪，并且可以同时被运用到分类树和回归树。这就是和 ID3 及 C4.5 之间的最大区别。

CART 算法在生成树的过程中，分类树采用了基尼指数（Gini Index）最小化原则，而回归树选择了平方损失函数最小化原则。基尼指数其实和前面提到的熵的概念是很相似的。简单概述区别的话，就是数值相近但不同，而基尼指数在运算过程中的速度会更快一些。

CART 算法也包含了树的修剪。CART 算法从完全生长的决策树底端剪去一些子树，使得模型更加简单。而修剪这些子树时，是每次去除一颗，逐步修剪直到根节点，从而形成一个子树序列。最后，对该子树序列进行交叉验证，再选出最优的子树作为最终决策树。

3.SKlearn中的决策树API参数介绍

1.c'riterion：取值‘gini’（基尼系数）或entropy（信息熵），用以使用哪种判断树的确定性增益进行分类，

两个参数没有明显区别。

2.spliter：取值 ‘best’ 或‘random’  前者在特征中去最好位置切分点（适用于规模较小的数据集），

后者在部分特征中取优解（适用于规模较大的数据集）

3.max_depth:树的最大深度，控制树的大小以防止过拟合。

4.max_samples_split：如果建树过程中节点的样本数少于max_samples_split，不再进行分类。

5.min_samples_leaf:     用于剪枝过程，如果叶子节点的样本数少于min_samples_leaf，则对其剪枝。

6.max_leaf_nodes:       最大的叶子数目，防止过拟合。

7.min_impurity_split：进行下一步分类的判断依据——阈值，如果分类的信息熵增益或者基尼系数增益

小于阈值则不再进行下一步分类。

默认值：

def __init__(self,
                 criterion="gini",
                 splitter="best",
                 max_depth=None,
                 min_samples_split=2,
                 min_samples_leaf=1,
                 min_weight_fraction_leaf=0.,
                 max_features=None,
                 random_state=None,
                 max_leaf_nodes=None,
                 min_impurity_decrease=0.,
                 min_impurity_split=None,
                 class_weight=None,
                 presort=False):

4.程序代码

简单代码示例：

from sklearn import datasets
import matplotlib.pyplot as plt
import numpy as np
from sklearn import tree
# Iris数据集是常用的分类实验数据集，
# 由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集，
# 是一类多重变量分析的数据集。数据集包含150个数据集，
# 分为3类，每类50个数据，每个数据包含4个属性。
# 可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。

#载入数据集
iris = datasets.load_iris()
iris_data=iris['data']
iris_label=iris['target']
iris_target_name=iris['target_names']
X=np.array(iris_data)
Y=np.array(iris_label)

#训练
clf=tree.DecisionTreeClassifier(max_depth=3)
clf.fit(X,Y)

#这里预测当前输入的值的所属分类
print('类别是',iris_target_name[clf.predict([[7,7,7,7]])[0]])

参考：https://blog.csdn.net/jasonding1354/article/details/42143659