Spark---spark Sql建立临时表进行查询

文章目录

  • 建立临时表的两种数据源情况及处理方法

建立临时表的两种数据源情况及处理方法

当外部文件是json文件的时候是最便捷的时候,此时直接使用spark sql的上下文环境将外部数据文件读进来即可
这个时候,读取进来的是直接的没有问题的DF数据集,每个json的key就是schema的字段名。这个时候直接建立临时表并查询即可

当外部文件非json文件,只是简单的结构性数据的时候,需要先用spark core的形式将数据读取进来,此时数据的格式是RDD,这个时候,·需要将RDD转成DF,在这个过程中未RDD加上schema,最后在建立临时表即可。

RDD转DF可以见我的另一篇博文
建立临时表要是DF去调用createOrReplaceTempView()函数方法

你可能感兴趣的:(spark)