图计算的应用

一起来看下这道题目

对于“133”手机 使用的用户有1，2，6，9，对于“138”手机 使用的用户有6，16，21，44，这两个手机共同的用户是6，而“158”手机只有5，7两个用户，从连通性的角度看，这是两张图，也就是说“158”手机的用户和“133”，“138”手机的用户没有必然的联系，而“133”，“138”两个手机的用户通过“6”用户进行连接，也就是说两个手机不同的用户之间可能会有相互认识的可能。下面通过生成图的算法来分析不同手机不同用户之间的关系。

package com.graph
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.graphx.{Edge, Graph, VertexId, VertexRDD}
import org.apache.spark.rdd.RDD

object CommonFriends {
  def main(args: Array[String]): Unit = {
       val conf = new SparkConf()
      .setAppName(s"{this.getClass.getName}").setMaster("local[*]")
      .set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
        val sc = new SparkContext(conf)
    //构造出点的集合
    val vertexRDD = sc.makeRDD(List(
      (1L, "1号用户"),
      (2L, "2号用户"),
      (6L, "6号用户"),
      (9L, "9号用户"),
      (16L, "16号用户"),
      (21L, "21号用户"),
      (44L, "44号用户"),
      (5L, "5号用户"),
      (7L, "7号用户"),
      (133L, "133号用户"),
      (138L, "138号用户"),
      (158L, "158号用户")
    ))
//构造出边的集合
    val edgeRDD = sc.makeRDD(List(
      Edge(1L, 133L, 0),
      Edge(2L, 133L, 0),
      Edge(6L, 133L, 0),
      Edge(9L, 133L, 0),
      Edge(6L, 138L, 0),
      Edge(21L, 138L, 0),
      Edge(16L, 138L, 0),
      Edge(44L, 138L, 0),
      Edge(5L, 158L, 0),
      Edge(7L, 158L, 0)
    ))
    //调用图计算的构造方法
    val graph=Graph(vertexRDD,edgeRDD)
    //原理就是取出其中一个最小的值为顶点
    val vertices: VertexRDD[VertexId] = graph.connectedComponents().vertices
    val joinRDD: RDD[(VertexId, (VertexId, String))] = vertices.join(vertexRDD)
    //转换输出格式
    joinRDD.map {
      case (userid, (cmid, username)) => (cmid,(userid,username))
    }.foreach(println)
  }
}

我们来看下输出结果
(1,(21,21号用户))
(1,(16,16号用户))
(1,(133,133号用户))
(1,(44,44号用户))
(1,(1,1号用户))
(1,(9,9号用户))
(1,(138,138号用户))
(1,(6,6号用户))
(1,(2,2号用户))
(5,(7,7号用户))
(5,(158,158号用户))
(5,(5,5号用户))
通过观察可以发现每个图中的最小值用户和其他的用户都有可能是好友！