在Zeppelin上运行Spark程序

前言

不得不说,Spark在Zeppelin上的使用还是比较方便的,比你在终端启动一个spark-shell或者spark-sql强太多了。闲话少说,我们一起来看一看吧!

读取本地JSON文件

在Zeppelin上运行Spark程序_第1张图片

由于Zeppelin默认支持Spark,所以可以不用在开头加上%spark关键词

接着我们创建一张临时表,使用SQL来查询

在Zeppelin上运行Spark程序_第2张图片

妥妥的!注意SQL语句的结尾不要加分号,不然会报错!

读取HDFS文件

下面先读取HDFS文件,该文件为JSON文件,读取出来之后取出第一列然后以Parquet的格式保存到HDFS上

在Zeppelin上运行Spark程序_第3张图片

读取HDFS文件转化成DF

在Zeppelin上运行Spark程序_第4张图片

 

在Zeppelin上运行Spark程序_第5张图片

 

在Zeppelin上运行Spark程序_第6张图片

 

在Zeppelin上运行Spark程序_第7张图片

 

 

 

 

 

你可能感兴趣的:(在Zeppelin上运行Spark程序)