spark-shell & spark-sql 使用

 

spark-shell

启动 spark-shell

[hadoop@hadoop2 bin]$ ./spark-shell --master local[2] \
--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar

spark-shell & spark-sql 使用_第1张图片

 

通过 spark-shell 操作 hive

spark-shell & spark-sql 使用_第2张图片

spark-shell & spark-sql 使用_第3张图片

spark-shell & spark-sql 使用_第4张图片

spark-shell & spark-sql 使用_第5张图片

 

WebUI 查看任务:

spark-shell & spark-sql 使用_第6张图片

 

spark-sql

启动 spark-sql

[hadoop@hadoop2 bin]$ ./spark-sql --master local[2] \
--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar

spark-shell & spark-sql 使用_第7张图片

 

通过 spark-shell 操作 hive

执行 select * from emp;

spark-shell & spark-sql 使用_第8张图片

执行 select * from dept;

spark-shell & spark-sql 使用_第9张图片

执行 select * from emp e join dept d on e.deptno = d.deptno;

spark-shell & spark-sql 使用_第10张图片

 

WebUI 查看

spark-shell & spark-sql 使用_第11张图片

 

查看执行计划:

执行  explain select * from emp e join dept d on e.deptno = d.deptno;

spark-shell & spark-sql 使用_第12张图片

执行 explain extended select * from emp e join dept d on e.deptno = d.deptno;

spark-shell & spark-sql 使用_第13张图片

你可能感兴趣的:(SparkSQL,Spark,大数据,Hadoop,Hive,Spark,spark,spark-shell,spark,sql,spark读取hive数据,spark,整合,hive)