机器学习笔记-随机森林(Random Forest,RF)

随机森林(Random Forest,RF)简介

随机森林RF是一种基于树模型的Bagging的优化版本,核心思想还是Bagging,只是做了一些特有的改进,即RF使用CART决策树作为基学习器。具体如图所示:

机器学习笔记-随机森林(Random Forest,RF)_第1张图片

RF=决策树+Bagging+随机属性选择

RF算法流程如下所示:

机器学习笔记-随机森林(Random Forest,RF)_第2张图片

RF优缺点

优点:

  • 对于高维(特征很多)稠密型的数据适用,不用降维,无需做特征选择。
  • 构建随机森林模型的过程,亦可帮助判断特征的重要程度。
  • 可以借助模型构建组合特征。
  • 并行集成,有效控制过拟合。
  • 工程实现并行简单,训练速度快。
  • 对于不平衡的数据集友好,可以平衡误差。
  • 对于特征确实鲁棒性强,可以维持不错的准确度。

缺点:

  • 在噪声过大的分类和回归数据集上还是可能会过拟合。
  • 相比单一决策树,因其随机性,模型解释会更复杂一些。

RF具体实现

导包:

import matplotlib.pyplot as plt
import numpy as np
from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import numpy as np
plt.style.use('ggplot')

导入数据:

#载入数据
data=np.genfromtxt("LR-testSet2.txt",delimiter=",")
x_data=data[:,:-1]
y_data=data[:,-1]
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()

数据散点图如图所示:

机器学习笔记-随机森林(Random Forest,RF)_第3张图片

划分训练集和测试集:

x_train,x_test,y_train,y_test=train_test_split(x_data,y_data,test_size=0.5)

定义画图函数:

def plot(model):
    #定义画图的函数
    #获取数据值所在的范围
    x_min,x_max=x_data[:,0].min()-1,x_data[:,0].max()+1
    y_min,y_max=x_data[:,1].min()-1,x_data[:,1].max()+1
    #生成网络矩阵
    xx,yy=np.meshgrid(np.arange(x_min,x_max,0.02),
                     np.arange(y_min,y_max,0.02))
    z=model.predict(np.c_[xx.ravel(),yy.ravel()])
    z=z.reshape(xx.shape)
    #等高线图
    cs=plt.contourf(xx,yy,z)
    #样本散点图
    plt.scatter(x_test[:,0],x_test[:,1],c=y_test)
    plt.show()

建立决策树模型:

#建立决策树模型
dtree=tree.DecisionTreeClassifier()
dtree.fit(x_train,y_train)
plot(dtree)
#准确率
dtree.score(x_test,y_test)

决策树训练结果如下所示:
机器学习笔记-随机森林(Random Forest,RF)_第4张图片

训练精度为0.69

建立随机森林训练模型:

#建立随机森林模型
RF=RandomForestClassifier(n_estimators=50)
RF.fit(x_train,y_train)
plot(RF)
RF.score(x_test,y_test)

机器学习笔记-随机森林(Random Forest,RF)_第5张图片

训练精度为0.79

参考:https://blog.csdn.net/qq_38683460/article/details/127488050

参考视频:机器学习算法基础-覃秉丰B站

你可能感兴趣的:(机器学习,随机森林,python)