【ML1】决策树算法decision tree(ID3)理论详解及实战

首先我们要深入了解决策树算法的每一个步骤,最基本的是ID3算法。以下这几个博客介绍的很详细,一定要推导

 官网地址:   https://scikit-learn.org/stable/modules/tree.html

经过上面重要的阶段,接下来进行简要总结,

一、理论讲解

0. 机器学习中分类和预测算法的评估:

准确率
速度
强壮行
可规模性
可解释性

1. 什么是决策树/判定树(decision tree)?

     判定树是一个类似于流程图的树结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最顶层是根结点。

【ML1】决策树算法decision tree(ID3)理论详解及实战_第1张图片
2.  机器学习中分类方法中的一个重要算法

3.  构造决策树的基本算法                   分支                 根结点       结点
               【ML1】决策树算法decision tree(ID3)理论详解及实战_第2张图片         树叶          

      【ML1】决策树算法decision tree(ID3)理论详解及实战_第3张图片     

     3.1 熵(entropy)概念:

          信息和抽象,如何度量?
          1948年,香农提出了 ”信息熵(entropy)“的概念
          一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,或者          
          是我们一无所知的事情,需要了解大量信息==>信息量的度量就等于不确定性的多少
          
          例子:猜世界杯冠军,假如一无所知,猜多少次?
          每个队夺冠的几率不是相等的
          
          比特(bit)来衡量信息的多少

          

          

          变量的不确定性越大,熵也就越大
          

     3.1 决策树归纳算法 (ID3)

          1970-1980, J.Ross. Quinlan, ID3算法
     
          选择属性判断结点

          信息获取量(Information Gain):Gain(A) = Info(D) - Infor_A(D)
          通过A来作为节点分类获取了多少信息

       【ML1】决策树算法decision tree(ID3)理论详解及实战_第4张图片

        

        【ML1】决策树算法decision tree(ID3)理论详解及实战_第5张图片

            

           类似,Gain(income) = 0.029, Gain(student) = 0.151, Gain(credit_rating)=0.048

          所以,选择age作为第一个根节点

        【ML1】决策树算法decision tree(ID3)理论详解及实战_第6张图片
          重复。。。


    算法:

  •             树以代表训练样本的单个结点开始(步骤1)。
  •             如果样本都在同一个类,则该结点成为树叶,并用该类标号(步骤2 和3)。
  •             否则,算法使用称为信息增益的基于熵的度量作为启发信息,选择能够最好地将样本分类的属性(步骤6)。该属性              成为该结点的“测试”或“判定”属性(步骤7)。在算法的该版本中,
  •             所有的属性都是分类的,即离散值。连续属性必须离散化。
  •             对测试属性的每个已知的值,创建一个分枝,并据此划分样本(步骤8-10)。
  •             算法使用同样的过程,递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上,就不必该结点的任                  何后代上考虑它(步骤13)。
  •             递归划分步骤仅当下列条件之一成立停止:
  •             (a) 给定结点的所有样本属于同一类(步骤2 和3)。
  •             (b) 没有剩余属性可以用来进一步划分样本(步骤4)。在此情况下,使用多数表决(步骤5)。
  •             这涉及将给定的结点转换成树叶,并用样本中的多数所在的类标记它。替换地,可以存放结
  •             点样本的类分布。
  •             (c) 分枝
  •             test_attribute = a i 没有样本(步骤11)。在这种情况下,以 samples 中的多数类
  •             创建一个树叶(步骤12)

               


     3.1 其他算法:
               C4.5:  Quinlan
               Classification and Regression Trees (CART): (L. Breiman, J. Friedman, R. Olshen, C. Stone)
               共同点:都是贪心算法,自上而下(Top-down approach)
               区别:属性选择度量方法不同: C4.5 (gain ratio), CART(gini index), ID3 (Information Gain)

     3.2 如何处理连续性变量的属性? 

4. 树剪枝叶 (避免overfitting)
     4.1 先剪枝
     4.2 后剪枝


5. 决策树的优点:
     直观,便于理解,小规模数据集有效     

6. 决策树的缺点:
     处理连续变量不好
     类别较多时,错误增加的比较快
     可规模性一般
     

 

二、接下来实战自己建立决策树

 

 

 

1. Python

2.  Python机器学习的库:scikit-learn

      2.1: 特性:
简单高效的数据挖掘和机器学习分析
对所有用户开放,根据不同需求高度可重用性
基于Numpy, SciPy和matplotlib
开源,商用级别:获得 BSD许可


     2.2 覆盖问题领域:
          分类(classification), 回归(regression), 聚类(clustering), 降维(dimensionality reduction)
          模型选择(model selection), 预处理(preprocessing)


3. 使用用scikit-learn
     安装scikit-learn: pip, easy_install, windows installer
     安装必要package:numpy, SciPy和matplotlib, 可使用Anaconda (包含numpy, scipy等科学计算常用
     package)
     安装注意问题:Python解释器版本(2.7 or 3.4?), 32-bit or 64-bit系统

4. 例子:
     【ML1】决策树算法decision tree(ID3)理论详解及实战_第7张图片


      文档:  http://scikit-learn.org/stable/modules/tree.html 

      解释Python代码


      安装 Graphviz: http://www.graphviz.org/
      配置环境变量

      转化dot文件至pdf可视化决策树:dot -Tpdf iris.dot -o outpu.pdf
 

三、代码实战决策树 


#  将特征值转化为dummy variable
from sklearn.feature_extraction import DictVectorizer
# 自带 - 读取csv
import csv
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO

#  1. 预处理:对数据整合规范化

#  读取表头
myData = open("buyComputer.csv", "rt")    # [2] myData = open("buyComputer.csv", "rb")
reader = csv.reader(myData)    # print(reader)

headers = next(reader)   # [2] headers = reader.next()
# print(headers)     # ['RID', 'age', 'income', 'student', 'credit_rating', 'class_buys_computer']

featureList = []
labelList = []

for row in reader:
    # print(row)      # ['RID', 'age', 'income', 'student', 'credit_rating', 'class_buys_computer']['1', 'youth', 'high', 'no', 'fair', 'no']
    labelList.append(row[len(row) - 1])
    rowDict = {}     # 一个属性一个字典
    for i in range(1, len(row) - 1):
        rowDict[headers[i]] = row[i]        # {'age': 'youth', 'income': 'high', 'student': 'no', 'credit_rating': 'fair'}...
    featureList.append(rowDict)
# print(featureList)      # [{'age': 'youth', 'income': 'high', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'high', 'student': 'no', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'high', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'low', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'low', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'low', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'youth', 'income': 'medium', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'low', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'medium', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'medium', 'student': 'no', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'high', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'no', 'credit_rating': 'excellent'}]

# Vetorize features
vec = DictVectorizer()
dummyX = vec.fit_transform(featureList).toarray()
# print("dummyX:" + str(dummyX))   # [[0. 0. 1. 0. 1. 1. 0. 0. 1. 0.] [0. 0. 1. 1. 0. 1. 0. 0. 1. 0.]]
# print(vec.get_feature_names())      # ['age=middle_aged', 'age=senior', 'age=youth', 'credit_rating=excellent', 'credit_rating=fair', 'income=high', 'income=low', 'income=medium', 'student=no', 'student=yes']
# print("labelList: " + str(labelList))    # labelList: ['no', 'no', 'yes', 'yes', 'yes', 'no', 'yes', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no']

# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
# print("dummyY:" + str(dummyY))    #[[0] [0] [1] [1]...]

#  2. 调用库函数
# Using decision tree for classification
clf = tree.DecisionTreeClassifier(criterion="entropy")
clf = clf.fit(dummyX, dummyY)
# print(str(clf))    # DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=None,max_features=None, max_leaf_nodes=None,

#  3. 可视化
# Visualize model
with open("dsTree.dot","w") as f:
    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)  # 将 011 还原回 young名称这些
oneRowX = dummyX[0, :]
# print(str(oneRowX))  # [0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]

newRowX = oneRowX
newRowX[0] = 1
newRowX[2] = 0
# predictY = clf.predict(newRowX)
predictY = clf.predict(newRowX.reshape(1, -1))
print(str(predictY))

四、实验数据

RID age income student credit_rating class_buys_computer
1 youth high no fair no  
2 youth high no excellent no  
3 middle_aged high no fair yes  
4 senior medium no fair yes  
5 senior low yes fair yes  
6 senior low yes excellent no  
7 middle_aged low yes excellent yes  
8 youth medium no fair no  
9 youth low yes fair yes  
10 senior medium yes fair yes  
11 youth medium yes excellent yes  
12 middle_aged medium no excellent yes  
13 middle_aged high yes fair yes  
14 senior medium no excellent no  

你可能感兴趣的:(机器学习,机器学习实战,ID算法,决策树)