Spark Mllib中逻辑回归

1相关参数设置

<1> setMaxIter()：设置最大迭代次数

<2> setRegParam()： 设置正则项的参数，控制损失函数与惩罚项的比例，防止整个训练过程过拟合，默认为0

<3> setElasticNetParam()：使用L1范数还是L2范数
setElasticNetParam=0.0 为L2正则化；
setElasticNetParam=1.0 为L1正则化；
setElasticNetParam=(0.0，1.0) 为L1，L2组合

<4> setFeaturesCol()：指定特征列的列名，传入Array类型，默认为features

<5>setLabelCol()：指定标签列的列名，传入String类型，默认为label

<6>setPredictionCol()：指定预测列的列名，默认为prediction

<7>setFitIntercept(value:Boolean)：是否需要偏置，默认为true（即是否需要y=wx+b中的b）

<8>setStandardization(value:Boolean)：模型训练时，是否对各特征值进行标准化处理，默认为true

<9>fit：基于训练街训练出模型

<10>transform：基于训练出的模型对测试集进行预测

<11>setTol(value:Double)：设置迭代的收敛公差。值越小准确性越高但是迭代成本增加。默认值为1E-6。(即损失函数)

<12>setWeightCol(value:String)：设置某特征列的权重值，如果不设置或者为空，默认所有实例的权重为1。

上面与线性回归一致，还有一些特殊的：
<1> setFamily：值为"auto"，根据类的数量自动选择系列，如果numClasses=1或者numClasses=2，设置为二项式，否则设置为多项式；
值为"binomial"，为二元逻辑回归；
值为"multinomial"，为多元逻辑回归

<2> setProbabilityCol：设置预测概率值的列名，默认为probability（即每个类别预测的概率值）

<3> setRawPredictionCol：指定原始预测列名，默认为rawPrediction

<4>setThreshold(value:Double)：二元类阈值[0-1]，默认为0.5，如果预测值大于0.5则为1，否则为0

<5>setThresholds(value:Array[Double])：多元分类阈值[0-1]，默认为0.5

image.png

2 Demo

2.1

    val spark = SparkSession.builder()
      .master("local[2]")
      .appName("LinearRegression")
      .getOrCreate()


    val training = spark.read.format("libsvm").load("src/main/resources/sample_libsvm_data.txt")

    training.show(20,false)

    val lr=new LogisticRegression().setLabelCol("label")
      .setFeaturesCol("features")
      .setRegParam(0.2)
      .setElasticNetParam(0.8)
      .setMaxIter(6)

    val model=lr.fit(training)

    val test = spark.createDataFrame(Seq(
      (1.0, Vectors.sparse(692, Array(10, 20, 30), Array(-1.0, 1.5, 1.3))),
      (0.0, Vectors.sparse(692, Array(45, 175, 500), Array(-1.0, 1.5, 1.3))),
      (1.0, Vectors.sparse(692, Array(100, 200, 300), Array(-1.0, 1.5, 1.3))))).toDF("label", "features")

    test.show(false)

    model.transform(test).show(false)

结果显示：

image.png

其中probability中第1位代表预测为0的概率，第2位代表预测为1的概率

2.2

显示每次迭代的时候的目标值，即损失值+正则项

    val trainingSummary=model.summary
    val objectiveHistory=trainingSummary.objectiveHistory
    println("objectiveHistory:")
    objectiveHistory.foreach(loss=>println(loss))

image.png

这里有一个疑问：最终的迭代次数总是会比设置的最大迭代次数，多1次；
设置的最大迭代次数为6，最后迭代次数为7

2.3 打印评估指标

    val binarySummary=trainingSummary.asInstanceOf[BinaryLogisticRegressionSummary]
    //评估指标
    //roc值
    val roc=binarySummary.roc
    roc.show(false)
    val AUC=binarySummary.areaUnderROC
    println(s"areaUnderRoc:${AUC}")

roc的值：

image.png

AUC的值：

image.png

2.4 设置模型阈值

F1值就是precision和recall的调和均值

    //获取不同的阈值对应的不同的F1值
    val fMeasure=binarySummary.fMeasureByThreshold
    fMeasure.show(false)
    val df=fMeasure.withColumnRenamed("F-Measure","F1")
    //获得最大的F1值
    val maxFMeasure=df.selectExpr("max(F1)").head().getDouble(0)
    println(maxFMeasure)
    //找出最大F1值对应的阈值
    val bestThreshold=df.where(s"F1=$maxFMeasure").select("threshold").head().getDouble(0)
    //并将模型的threshold设置为选择出来的最佳分类阈值
    println(s"bestThreshold:$bestThreshold")
    model.setThreshold(bestThreshold)

结果：
这里的F-Measure必须得重命名一下，不然一致会报错。(好像是中间'-'的原因)

image.png

最大的F1值：1.0

对应阈值：

image.png