决策树归纳算法-ID3算法(day02)

数据

数据

---

概念

1. 百度百科:https://baike.baidu.com/item/ID3%E7%AE%97%E6%B3%95/5522381

2. 公式: 信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D)
   通过A来作为节点分类获取了多少信息(备注:A就是图中的age,income,student,credit_rating的一个)

   • 若一个记录集合T根据类别属性的值被分成互相独立的类C1C2..Ck，则识别T的一个元素所属哪个类所 需要的信息量为Info(T)=I(p)，其中P为C1C2…Ck的[概率分布]，即P=(|C1|/|T|,…..|Ck|/|T|)
   • 若我们先根据非类别属性X的值将T分成集合T1,T2…Tn，则确定T中一个元素类的信息量可通过确定Ti的加权平均值来得到，即Info(Ti)的加权平均值为：Info(X, T)=(i=1 to n 求和)((|Ti|/|T|)Info(Ti))
   • 信息增益度是两个信息量之间的差值，其中一个信息量是需确定T的一个元素的信息量，另一个信息量是在已得到的属性X的值后需确定的T一个元素的信息量，信息增益度公式为：Gain(X, T)=Info(T)-Info(X, T)
   • ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定集合的测试属性。对被选取的测试属性创建一个节点，并以该节点的属性标记，对该属性的每个值创建一个分支据此划分样本

3. 熵
   信息和抽象，如何度量？

     1948年，香农提出了 ”信息熵(entropy)“的概念
     一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定的事情，或者         
     是我们一无所知的事情，需要了解大量信息==>信息量的度量就等于不确定性的多少
   
     例子：猜世界杯冠军，假如一无所知，猜多少次？
     每个队夺冠的几率不是相等的
     比特(bit)来衡量信息的多少
   

   image.png

     变量的不确定性越大，熵也就越大
   

---

计算

1.计算
1.1 计算集合中一个元素所属哪个类别所需要的信息量

信息量

1.2 根据非类别属性age的值将集合分成集合youth,middle_aged,senior(T1,T2…Tn)，则确定集合中一个元素类的信息量可通过确定Ti的加权平均值来得到

加权平均值

1.3 计算信息增益度

计算信息增益度

1.4 找到根节点

image.png

重复。。。

算法：

* 树以代表训练样本的单个结点开始（步骤1）。
* 如果样本都在同一个类，则该结点成为树叶，并用该类标号（步骤2 和3）。
* 否则，算法使用称为信息增益的基于熵的度量作为启发信息，选择能够最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。在算法的该版本中，
* 所有的属性都是分类的，即离散值。连续属性必须离散化。
* 对测试属性的每个已知的值，创建一个分枝，并据此划分样本（步骤8-10）。
* 算法使用同样的过程，递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上，就不必该结点的任何后代上考虑它（步骤13）。
* 递归划分步骤仅当下列条件之一成立停止：
* (a) 给定结点的所有样本属于同一类（步骤2 和3）。
* (b) 没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，使用多数表决（步骤5）。
* 这涉及将给定的结点转换成树叶，并用样本中的多数所在的类标记它。替换地，可以存放结点样本的类分布。
* (c) 分枝
* test_attribute = a i 没有样本（步骤11）。在这种情况下，以 samples 中的多数类
* 创建一个树叶（步骤12）

---

代码模拟

# -*- coding: UTF-8 -*-
from sklearn.feature_extraction import DictVectorizer
import csv
from sklearn import tree
from sklearn import preprocessing

# Read in the csv file and put features into list of dict and list of class label
allElectronicsData = open(r'/home/meek/PycharmProjects/deeplearning_01/day01/AllElectronics.csv', 'rt')
reader = csv.reader(allElectronicsData)
headers = next(reader)

print(headers)

featureList = []
labelList = []

for row in reader:
    labelList.append(row[len(row) - 1])
    rowDict = {}
    for i in range(1, len(row) - 1):
        rowDict[headers[i]] = row[i]
    featureList.append(rowDict)

print(featureList)

# Vetorize features
vec = DictVectorizer()
dummyX = vec.fit_transform(featureList).toarray()

print("dummyX: " + str(dummyX))
print(vec.get_feature_names())

print("labelList: " + str(labelList))

# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
print("dummyY: " + str(dummyY))

# Using decision tree for classification
# clf = tree.DecisionTreeClassifier()
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(dummyX, dummyY)
print("clf: " + str(clf))

# Visualize model
with open("allElectronicInformationGainOri.dot", 'w') as f:
    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)

oneRowX = dummyX[0, :]
print("oneRowX: " + str(oneRowX))

newRowX = oneRowX
newRowX[0] = 1
newRowX[2] = 0
print("newRowX: " + str(newRowX))

lists = [[]]
lists[0] = newRowX
predictedY = clf.predict(lists)
print("predictedY: " + str(predictedY))

---

作用

• 决策树是对数据进行分类，以此达到预测的目的。
• ID3决定哪些属性如何是最好的。 直观，便于理解，小规模数据集有效
• 处理连续变量不好;类别较多时,错误增加的比较快;可规模性一般

---

应用场景

银行信用自动评估系统