SparkSQL数据源

 

第1关：SparkSQL加载和保存

 代码：

package com.educoder.bigData.sparksql2;

 

import org.apache.spark.sql.AnalysisException;

import org.apache.spark.sql.SaveMode;

import org.apache.spark.sql.SparkSession;

 

 

public class Test1 {

    

    public static void main(String[] args) throws AnalysisException {

        SparkSession  spark  =  SparkSession 

                  .builder()

                  .appName("test1")

                  .master("local")

                  .getOrCreate();

        /********* Begin *********/

spark.read().format("json").load("people.json").write().mode(SaveMode.Append).save("people");  

        spark.read().format("json").load("people1.json").write().mode(SaveMode.Append).save("people");  

        spark.read().load("people").show();