SparkSQL之数据源

准备json文件:

cat /root/1.json
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

可以尝试传统方法:

val people = sqlContext.read.json("file:///root/1.json");
people.printSchema();
people.registerTempTable("people3");

这是DataFrame的定义方法。
下面可以定义成数据源:

CREATE TABLE persons USING org.apache.spark.sql.json OPTIONS ( path 'file:///root/1.json' );

这个时候可以 spark-sql:

spark-sql> select * from persons;
NULL    Michael
30  Andy
19  Justin

你可能感兴趣的:(SparkSQL之数据源)