Spark 提升spark1.6提交任务速度+配置spark2.x后hiveserver2运行失败

spark提升提交任务速度

在spark-defaults.conf中配置一句

spark.yarn.jar=hdfs:///lib/spark-assembly-1.6.3-hadoop2.6.0.jar

并把jar包上传到配置的位置,可以避免每次提交任务都重新上传
在spark1.6版中,看启动的控制台日志可以发现,每次提交任务到yarn都会从本地上传一遍此jar包

配置spark2.x后hiveserver2运行失败

提示找不到assembly jar包
原因:spark1.6版assembly jar包在lib目录下,而2.X版没有lib目录,改成了jars,在bin/hive 下修改寻找assembly的路径,修改为寻找jars下所有的jar包

这里写图片描述

你可能感兴趣的:(hive)