spark读取、保存.csv文件

• 用spark实现读取csv文件

val conf = new SparkConf()
      .setAppName("用户标签")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val arr = ArrayBuffer[(Int,String,String,String,String,String,String,Double)]()
    val arr2 = ArrayBuffer[(String,Double)]()
    
    val data: DataFrame = sqlContext.read.format("com.databricks.spark.csv")
      .option("header", "true") //在csv第一行有属性"true"，没有就是"false"
      .option("inferSchema", true.toString) //这是自动推断属性列的数据类型
      .load("C:\\Users\\Desktop\\test.csv")

注意：如果出现乱码，可能是用excel打开，导致编码错误，用notepad++打开转化成utf8编码就可以了。

• 用spark实现保存为csv文件
  rdd处理方式

import sqlC.implicits._

    val mapDF: DataFrame = hashString.toDF()

    mapDF.createOrReplaceTempView("map")

    val resultDF: DataFrame = sqlC.sql("select * from map")

    resultDF.write.mode("Append").csv("C:\\Users\\Desktop\\123")