【SparkML系列1】相关性、卡方检验和概述器实现

Correlation(相关性)

计算两组数据之间的相关性在统计学中是一种常见的操作。在spark.ml中，我们提供了计算多组数据之间成对相关性的灵活性。目前支持的相关性方法是皮尔逊（Pearson）相关系数和斯皮尔曼（Spearman）相关系数。

相关性计算使用指定的方法为输入的向量数据集计算相关性矩阵。输出将是一个数据框，其中包含向量列的相关性矩阵。

import org.apache.spark.ml.linalg.{Matrix, Vectors}
import org.apache.spark.ml.stat.Correlation
import org.apache.spark.sql.{Row, SparkSession}

/**
 * @description 相关性测试
 * @date 2024/1/31 14:32
 * @author by fangwen1
 */
object CorrelationExample {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("CorrelationExample")
      .getOrCreate()
    import spark.implicits._

    val data = Seq(
      // 创建稀疏向量
      Vectors.sparse(4, Seq((0, 1.0), (3, -2.0))),
      // 创建密集向量
      Vectors.dense(4.0, 5.0, 0.0, 3.0),
      Vectors.dense(6.0, 7.0, 0.0, 8.0),
      Vectors.sparse(4, Seq((0, 9.0), (3, 1.0)))
    )

    val df = data.map(Tuple1.apply).toDF("features")
    val Row(coeff1: Matrix) = Correlation.corr(df, "features").head
    println(s"Person correlation matrix:\n $coeff1")


    val Row(coeff2: Matrix) = Correlation.corr(df, "features", "spearman").head
    println(s"Spearman correlation matrix:\n $coeff2")
  }
}

假设检验

假设检验是统计学中一种强有力的工具，用于确定一个结果是否具有统计学意义，即这个结果是偶然发生的还是有一定的必然性。Spark ML目前支持用于独立性检验的皮尔逊卡方（χ²）检验。

卡方检验

卡方检验对每个特征与标签之间是否独立进行皮尔逊独立性检验。对于每个特征，将（特征，标签）对转换成列联表，然后计算卡方统计量。所有的标签和特征值必须是分类的。

Refer to the ChiSquareTest Scala docs for details on the API.

import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.stat.ChiSquareTest
import org.apache.spark.sql.SparkSession

/**
 * @description 卡方校验
 * @date 2024/1/31 14:57
 * @author by fangwen1
 */
object ChiSquareTestExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("CorrelationExample")
      .getOrCreate()
    import spark.implicits._

    val data = Seq(
      (0.0, Vectors.dense(0.5, 10.0)),
      (0.0, Vectors.dense(1.5, 20.0)),
      (1.0, Vectors.dense(1.5, 30.0)),
      (0.0, Vectors.dense(3.5, 30.0)),
      (0.0, Vectors.dense(3.5, 40.0)),
      (1.0, Vectors.dense(3.5, 40.0))
    )

    val df = data.toDF("label", "features")
    val chiDf = ChiSquareTest.test(df, "features", "label")
    chiDf.printSchema()
    val chi = chiDf.head()

    println(s"pValues = ${chi.getAs[Vector](0)}")
    println(s"degreesOfFreedom = ${chi.getSeq[Int](1).mkString("[",",","]")}")
    println(s"statistics = ${chi.getAs[Vector](2)}")
  }
}

Summarizer（概述器）

我们通过概述器为数据帧提供向量列的汇总统计信息。可用的指标包括列最大值、最小值、平均值、总和、方差、标准差以及非零元素的数量，还有总计数。

import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.stat.Summarizer.{mean, metrics, variance}
import org.apache.spark.sql.SparkSession

/**
 * @description 概述器
 * @date 2024/1/31 15:09
 * @author by fangwen1
 */
object SummarizerExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("SummarizerExample")
      .getOrCreate()
    import spark.implicits._

    val data = Seq(
      (Vectors.dense(2.0, 3.0, 5.0), 1.0),
      (Vectors.dense(4.0, 6.0, 7.0), 2.0)
    )
    val df = data.toDF("features", "weight")
    //mean: 用于计算向量列的均值。
    //metrics: 允许用户指定需要计算的多个统计量，例如均值、方差、总和等。
    //variance: 用于计算向量列的方差。
    val (meanVal, varianceVal) = df.select(metrics("mean", "variance").summary($"features", $"weight").as("summary"))
      .select("summary.mean", "summary.variance").as[(Vector, Vector)].first()
    println(s"with weight: mean = ${meanVal}, variance = ${varianceVal}")

    val (meanVal2, varianceVal2) = df.select(mean($"features"), variance($"features"))
      .as[(Vector, Vector)].first()
    println(s"without weight: mean = ${meanVal2}, sum = ${varianceVal2}")

  }
}