Spark：wordcount

object text {
  def main(args: Array[String]): Unit = {
    // 创建sparksession
    val sparkSession = SparkSession.builder().master("local").appName("Word_Count").getOrCreate()

    import sparkSession.implicits._

    /**
      * 保存为csv格式
      */
    sparkSession.sparkContext.textFile("args[0]")
      .flatMap(_.split(","))
      .map((_, 1))
      .reduceByKey(_ + _)
      .toDF()
      .write
      .mode("overwrite")
      .csv("args[1]")

    /**
      * 保存为文本文件
      */
    sparkSession.sparkContext.textFile("args[0]")
      .flatMap(_.split(","))
      .map((_, 1))
      .reduceByKey(_ + _)
      .saveAsTextFile("args[1]")


    sparkSession.stop()
  }
}