Spark SQL输入输出


1、对于Spark SQL的输入需要使用  sparkSession.read方法

     1)、通用模式   sparkSession.read.format("json").load("path")   支持类型:parquet、json、text、csv、orc、jdbc
     2)、专业模式   sparkSession.read.json、 csv  直接指定类型。

2、对于Spark SQL的输出需要使用  dataFrame/dataSet.write方法

     1)、通用模式   dataFrame.write.format("json").save("path")  支持类型:parquet、json、text、csv、orc、  
     2)、专业模式   dataFrame.write.csv("path")  直接指定类型

3、如果你使用通用模式,spark默认parquet是默认格式,sparkSession.read.load 他加载的默认是parquet格式。dataFrame.write.save也是默认保存成parquet格式。

4、如果需要保存成一个text文件,那么需要dataFrame里面只有一列。

你可能感兴趣的:(大数据,Spark,SQL,输入,输出)