Spark--RDD文件读取与保存

object Spark_rdd_01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")
    val sc = new SparkContext(conf)
    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a",1),("b",2),("c",3)),1)

    //text保存文件
    rdd.saveAsTextFile("datas\\output1")
    //text读文件
    val rdd1: RDD[String] = sc.textFile("datas\\output1\\*")
    println(rdd1.collect().mkString(","))
    println("-----------------")
    //sequence保存文件(必须是键值类型)
    //SequenceFile文件是Hadoop用来存储二进制形式的key-value
    rdd.saveAsSequenceFile("datas\\output2")
    //sequence读文件
    val rdd2: RDD[(String, Int)] = sc.sequenceFile[String,Int]("datas\\output2\\*")
    println(rdd2.collect().mkString(","))
    println("-------------------")
    //object保存文件
    //object对象文件是将对象序列化后保存的文件，采用 Java 的序列化机制
    //因为是序列化所以要指定类型
    rdd.saveAsObjectFile("datas\\output3")
    //object读文件
    val rdd3: RDD[(String, Int)] = sc.objectFile[(String,Int)]("datas\\output3\\*")
    println(rdd3.collect().mkString(","))

    sc.stop()
  }
}

(a,1),(b,2),(c,3)
-----------------
(a,1),(b,2),(c,3)
-------------------
(a,1),(b,2),(c,3)