在Kaggle手写数字数据集上使用Spark MLlib的RandomForest进行手写数字识别

昨天我使用Spark MLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了RandomForest来训练模型，并进行了参数调优。

首先来说说RandomForest 训练分类器时使用到的一些参数：

• numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。

• maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表征性和更强大，然而训练也更耗时，更容易过拟合。

  在这次的训练过程中，我就是反复调整上面两个参数来提升预测的准确性。首先来设定一下一些参数的初始值。

    val numClasses = 10
    val categoricalFeaturesInfo = Map[Int, Int]()
    val numTrees = 3 
    val featureSubsetStrategy = "auto" 
    val impurity = "gini"
    val maxDepth = 4
    val maxBins = 32

第一次我将树的数目设定为3，每棵树深度为4。下面开始训练模型：

val randomForestModel = RandomForest.trainClassifier(data, numClasses, categoricalFeaturesInfo, numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins)

与使用朴素贝叶斯时评估准确率方式一样，我使用训练数据来计算准确率：

    val nbTotalCorrect = data.map { point =>
      if (randomForestModel.predict(point.features) == point.label) 1 else 0
    }.sum
    val numData = data.count()
    println(numData)
    //42000
    val nbAccuracy = nbTotalCorrect / numData

下面是每次对上面所说到的两个参数进行调整后得到的准确率：

    //numTree=3,maxDepth=4,准确率：0.5507619047619048
    //numTree=4,maxDepth=5,准确率：0.7023095238095238
    //numTree=5,maxDepth=6,准确率：0.693595238095238
    //numTree=6,maxDepth=7,准确率：0.8426428571428571
    //numTree=7,maxDepth=8,准确率：0.879452380952381
    //numTree=8,maxDepth=9,准确率：0.9105714285714286
    //numTree=9,maxDepth=10,准确率：0.9446428571428571
    //numTree=10,maxDepth=11,准确率：0.9611428571428572
    //numTree=11,maxDepth=12,准确率：0.9765952380952381
    //numTree=12,maxDepth=13,准确率：0.9859523809523809
    //numTree=13,maxDepth=14,准确率：0.9928333333333333
    //numTree=14,maxDepth=15,准确率：0.9955
    //numTree=15,maxDepth=16,准确率：0.9972857142857143
    //numTree=16,maxDepth=17,准确率：0.9979285714285714
    //numTree=17,maxDepth=18,准确率：0.9983809523809524
    //numTree=18,maxDepth=19,准确率：0.9989285714285714
    //numTree=19,maxDepth=20,准确率：0.9989523809523809
    //numTree=20,maxDepth=21,准确率：0.999
    //numTree=21,maxDepth=22,准确率：0.9994761904761905
    //numTree=22,maxDepth=23,准确率：0.9994761904761905
    //numTree=23,maxDepth=24,准确率：0.9997619047619047
    //numTree=24,maxDepth=25,准确率：0.9997857142857143
    //numTree=25,maxDepth=26,准确率：0.9998333333333334
    //numTree=29,maxDepth=30,准确率：0.9999523809523809

可以发现，准确率在numTree=11,maxDepth=12 附近开始收敛到0.999。这次得到的准确率要比上次使用朴素贝叶斯训练得出的准确率（0.826）要高出许多。现在开始对测试数据进行预测，使用的参数是numTree=29,maxDepth=30：

val predictions = randomForestModel.predict(features).map { p => p.toInt }

把训练出来的结果上传到Kaggle上，得到的准确率为0.95929 ，经过我的四次参数调整，得到的最高的准确率是0.96586 ，设置的参数是：numTree=55,maxDepth=30 ，当我将参数改为numTree=70,maxDepth=30 时，准确率有所下降，为0.96271 ，看来这个时候出现过拟合了。不过准确率能从昨天的0.83提高到0.96还是挺兴奋的，我还会继续尝试使用其他方式进行手写数字识别，不知何时能达到1.