基于 SparkGraphx 实现适用于位置信息的DBScan聚类

基于 SparkGraphx 实现的 DBScan聚类

关于DBScan算法的详细介绍请参见维基百科

https://en.wikipedia.org/wiki/DBSCAN

Graphx 实现Dbscan 图解


基于 SparkGraphx 实现适用于位置信息的DBScan聚类_第1张图片
图解

1.上图中蓝色的点代表我们需要聚类的样本点,假设我们将DBScan的两个参数:距离 (Eps)设为1,最小集群点数(minPts)设为 4,则根据聚类规则,上图的A、B部分则会分别被聚为一类,C、D部分则会被视为离群点。

2.而Graphx的作用就是将两个距离满足条件的点连成边,然后再将这些边连成一个个的连通图,最后再计算各个图内的点数是否满足设定的最小集群点数。根据聚类规则我们就可以完成聚类,抽象出来就如上图所示。

3.代码实现过程如下
本文所使用的是经纬度数据,因此在使用距离计算的时候,用的是经纬度距离的计算方法(球面距离),在实现过程中也使用了Geohash算法(相关介绍有很多,这篇帖子就很好)进行了相关优化。

  /**
      * 参数校验
      */
    if (args.length != 4) {
      println(
        """
          |参数:
          |dbinput   输入路径
          |eps       邻域半径
          |minpts    最小密集点数
          |dboutput  输出路径
        """.stripMargin)
      System.exit(3)
    }
    val Array(dbinput, eps, minpts, output) = args

    val spark = SparkSession.builder()
      .appName(s"${this.getClass.getSimpleName}")
      .master("local[*]")
      .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
      .config("spark.shuffle.consolidateFiles", "true")
      .config("spark.io.compression.codec", "snappy")
      .getOrCreate()

    import spark.implicits._

  //  加载数据
  val dbdata = spark.read.option("inferSchema", true).csv(dbinput)


  // 计算经纬度距离
    def distanceBetweenPoints(lon1: Double, lon2: Double, lat1: Double, lat2: Double): Double = {
      require(lon1 >= -180 && lon1 <= 180)
      require(lon2 >= -180 && lon2 <= 180)
      require(lat1 >= -90 && lat1 <= 90)
      require(lat2 >= -90 && lat2 <= 90)
      val R = 6371009d // average radius of the earth in metres
      val dLat = toRadians(lat2 - lat1)
      val dLng = toRadians(lon2 - lon1)
      val latA = toRadians(lat1)
      val latB = toRadians(lat2)
      // The actual haversine formula. a and c are well known value names in the formula.
      val a = sin(dLat / 2) * sin(dLat / 2) +
        sin(dLng / 2) * sin(dLng / 2) * cos(latA) * cos(latB)
      val c = 2 * atan2(sqrt(a), sqrt(1 - a))
      // 默认返回千米
      (R * c) / 1000D
    }

    // 经纬度距离 sparksql udf 
    val lonLatDistance = udf((lon1: Double, lon2: Double, lat1: Double, lat2: Double) => {
      distanceBetweenPoints(lon1, lon2, lat1, lat2)
    })

此部分是结合GeoHash算法做的一点优化,主要是根据dbscan的距离参数预先对数据进行分组,笔者水平有限,只想到了这个数据分区的方法。


基于 SparkGraphx 实现适用于位置信息的DBScan聚类_第2张图片
GeoHash Code 精度对照
   // 根据geohash算法对经纬度数据做分区
    val scope = udf((lon: Double, lat: Double) => {
      // geohash
      val geohash = GeoHash.encodeHash(lat, lon,
        // 计算geohash的最优分区位数
        MLUtils.geoLength(eps.toDouble))
      val neighbours: Array[String] = GeoHash.neighbours(geohash).toArray().map(_.toString)
      Seq(geohash) ++ neighbours
    })
//  将原始的经纬度数据按照相同的分组进行 join聚合
  val localbase = dbdata
      .toDF("lon", "lat")
      .where($"lon".isNotNull and $"lat".isNotNull)
      .withColumn("id", hash($"lon", $"lat"))

    val ll = localbase
      .withColumn("scopes", scope($"lon", $"lat"))
      .withColumn("scope", explode($"scopes"))
      .drop("scopes").cache()

    val ll2 = ll.toDF("lon2", "lat2", "id2", "scope")

    val data = ll.join(ll2, "scope").where($"id" =!= $"id2")
      .withColumn("distance", lonLatDistance($"lon", $"lon2", $"lat", $"lat2"))
 

    //构建边Edge[Int]
    val lv: RDD[(VertexId, VertexId)] = data
      .filter($"distance" <= eps.toDouble)  // 筛选出满足距离条件的点
      .select($"id", $"id2").rdd
      .map(row => {
        val id = row.getAs[Int]("id").toLong
        val id2 = row.getAs[Int]("id2").toLong
        (id, id2)
      })

    val le = lv.map { ids => Edge(ids._1, ids._2, 0) } // 根据点构建边

    // 构建图
    val graph = Graph(lv, le)
    val gcc = graph.connectedComponents().vertices
    val joined = gcc.join(lv)
      .map(tp => {
        (tp._2._1, Seq(tp._2._2))
      }).reduceByKey(_ ++ _)   // 聚合每个联通图的点
      .map(tp => {
        (tp._2.distinct, tp._2.distinct.length)
      }).filter(_._2 >= minpts.toInt)   // 筛选出满足最小聚类点数的连通图

    val clust = joined.toDF("clu", "ct")
      .withColumn("cluid", hash($"clu"))
      .withColumn("id", explode($"clu"))   

    val dbres: DataFrame = localbase.join(clust, Seq("id"), "left")
      .na.fill(0).drop("clu", "ct")  // 离群点的聚类id以0标识

    // 保存聚类结果
    dbres.repartition(1).write.option("header", true)
      .mode("overwrite")
      .csv(output) 

在本案例中,eps设为30km,minPts设为 5,聚类结果的可视化如下 ,红圈的就是两个簇类,其余的都是离群点


基于 SparkGraphx 实现适用于位置信息的DBScan聚类_第3张图片
聚类结果可视化

本案例的数据链接 https://pan.baidu.com/s/1EaA7oGAmiJ2m4oXPLppsdg

用此方法实现的DBScan聚类在大数据集上运行效率较低,还有很多可以优化的地方,也有很多可以扩展的地方,如有不当之处,欢迎指正

你可能感兴趣的:(基于 SparkGraphx 实现适用于位置信息的DBScan聚类)