spark项目3层架构模式

1、3层架构模式

application--程序

common--部分类抽象出来的一部分，特质例如

controller--程序调度

service --服务层，逻辑

dao--持久层，数据

util--工具类，皆可使用

 

2、原wordCount示例代码

object WordCount {
  def main(args: Array[String]): Unit = {

    
        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")
        val sc: SparkContext = new SparkContext(sparkConf)
     
        val data = sc.textFile("datas/1.txt")
        val flatRDD =  data.flatMap(_.split(" "))
        val mapRDD = flatRDD.map((_,1))
        val resRDD = mapRDD.reduceByKey(_+_)

        resRDD.collect().foreach(println)
      }

}

3、wordCount3层架构示例