SparkSQL加载文件与保存文件

sparkSQL加载文件与保存文件

SparkSQL加载文件

步骤： 先获取sparkSession对象

 val spark = SparkSession.builder()
          .appName("testload")
          .master("local[*]")
          .getOrCreate()

读取文件的方式

		spark.read.format("type").load("path")
		spark.read.json("")
        spark.read.csv("")
        spark.read.orc("")
        spark.read.parquet("")
        spark.read.text("")
例如
val df6: DataFrame = spark.read
          .format("csv")
          .option("header", true)
          .load("sql/ip-pprovince-count.csv")
        df6.show()
        
val df7: DataFrame = spark.read
          .format("csv")
          .option("sep", "|")
          .load("sql/student.csv")
        df7.show()

SparkSQL保存数据
步骤
获取Sparksess