【机器学习】使用Scikit-Learn库实现决策树

决策树算法：。从树根来说，基于可获得的最大信息增益的特征来对数据进行划分通过迭代处理，在每个子节点上重复此划分过程，直到叶子结点。

剪通过枝来限定树的最大深度。

 

最大信息增益：

 

˚F为要划分的特征，DP与了Dj分别为父节点和第Ĵ个子节点，我为不纯度衡量标准，NP为父节点中的样本数量，新泽西州为第Ĵ个子节点中的样本数量。

 

信息增益：父节点的不纯度与所有子节点不纯度总和之差，子节点的不纯度越低，信息增益越大

 

大多数库，如SKlearn中都实现了二叉决策树，每个父节点被分为两个子节点：去离子和博士

 

二叉决策树常用的三个不纯度衡量标准或划分标准为：基尼系数（IG），熵（1H），误分类率（IE）。

熵，使得互信息最大化：

 

基尼系数，降低误分类可能性的标准，与熵生成相似结果：

误分类率：

 

本文使用的数据集和库文件定义在该章节有定义了，链接：http://mp.blog.csdn.net/postedit/79196206

生成三种方法比较图：

# 基尼系数
def gini(p):
    return (p) * (1 - (p)) + (1 - p) * (1 - (1 - p))

# 熵
def entropy(p):
    return - p * np.log2 (p) - (1 - p) * np.log2 ((1 - p))

# 误差
def error(p):
    return 1 - np.max ([p, 1 - p])

def PlotHEE():
    x = np.arange (0.0, 1.0, 0.01)
    
    ent = [entropy (p) if p != 0 else None for p in x]
    sc_ent = [e * 0.5 if e else None for e in ent]
    err = [error (i) for i in x]
    
    fig = plt.figure ()
    ax = plt.subplot (111)
    for i, lab, ls, c, in zip ([ent, sc_ent, gini (x), err],
                               ['熵', '熵(比例)',
                                '基尼不纯度', '误分率'],
                               ['-', '-', '--', '-.'],
                               ['black', 'lightgray', 'red', 'green', 'cyan']):
        line = ax.plot (x, i, label=lab, linestyle=ls, lw=2, color=c)
    
    ax.legend (loc='upper center', bbox_to_anchor=(0.5, 1.15),
               ncol=3, fancybox=True, shadow=False)
    
    ax.axhline (y=0.5, linewidth=1, color='k', linestyle='--')
    ax.axhline (y=1.0, linewidth=1, color='k', linestyle='--')
    plt.ylim ([0, 1.1])
    plt.xlabel ('p(i=1)')
    plt.ylabel ('混杂度指数')
    plt.tight_layout ()
    # plt.savefig ('./figures/impurity.png', dpi=300, bbox_inches='tight')
    plt.show ()

# PlotHEE()

构建决策树：

def DecisionTrees():
    tree = DecisionTreeClassifier (criterion='entropy', max_depth=3, random_state=0)
    tree.fit (X_train, y_train)
    
    X_combined = np.vstack ((X_train, X_test))
    y_combined = np.hstack ((y_train, y_test))
    plot_decision_regions (X_combined, y_combined,
                           classifier=tree, test_idx=range (105, 150))
    
    plt.xlabel ('花瓣长度(厘米)')
    plt.ylabel ('花瓣宽(厘米)')
    plt.legend (loc='upper left')
    plt.tight_layout ()
    # plt.savefig('./figures/decision_tree_decision.png', dpi=300)
    plt.show ()

DecisionTrees()