提升分类准确率之随机森林

#随机森林
随机森林=决策树+随机属性

随机森林

每个分类器为一个决策树：每个结点采用随机选择的属性进行划分
分类时返回得票最多的类

First-RI

随机输入选择形成的随机森林
有放回地采样得到训练集：在每个节点堆积选择F个属性作为该结点的属性
CART算法增长树基尼指数，增长到最大规模，不剪枝。
其中，F远小于可用属性数

First-RC

输入属性的随机线性组合
在每个节点，随机选择L个原属性，以【-1,1】中随机选取的数为系数相加，创建F个线性组合的新属性，在其中搜索找到最佳划分。适合仅有少量属性的数据，降低个体分裂期之间的相关性
优缺点：
准确率与Adaboost相媲美，对于错误和离群点更鲁棒，不会过拟合
对选择的属性数敏感，通常取log2（d+1）个属性（使用单个随机选择的属性常常比使用多个属性更高）
在大数据上比袋装法和提升法更快

from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import numpy as np
import matplotlib.pyplot as plt
# 载入数据
data = np.genfromtxt("LR-testSet2.txt", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1]

plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()
x_train,x_test,y_train,y_test = train_test_split(x_data, y_data, test_size = 0.5)
def plot(model):
    # 获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

    # 生成网格矩阵
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))

    z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = z.reshape(xx.shape)
    # 等高线图
    cs = plt.contourf(xx, yy, z)
    # 样本散点图
    plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test)
    plt.show()
dtree = tree.DecisionTreeClassifier()
dtree.fit(x_train, y_train)
plot(dtree)
print("dtree",dtree.score(x_test, y_test))
RF = RandomForestClassifier(n_estimators=50)
RF.fit(x_train, y_train)
plot(RF)
print("RandomForest",RF.score(x_test, y_test))