hive报错 spark_hive on spark 错误解决

Hive on spark

错误解决

1.

环境

Hive2.0.0

Hadoop-2.6.3

Spark-1.5

Scala2.10.4

2.

步骤

2.1.

将

spark

进行编译打包：

./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.6.0 -

Dhadoop.version=2.6.0

–

Pyarn

2.2

将

spark-assembly-1.5.0-hadoop2.6.0

包放在

hive/lib

下

2.3

执行

hive

设置引擎为

spark

，

master

为

yarn-client

set hive.execution.engine=spark;

set spark.master=yarn-client;

2.4

运行

sql

：

select count(1) from xxx

报错：

2016-03-15T18:09:59,097 INFO  [29c77f58-7758-4128-ae8c-f3d807fab415

29c77f58-7758-4128-ae8c-f3d807fab415 main]: status.SparkJobMonitor

(SessionState.java:printInfo(1007)) - jjz:RemoteSparkJob

Monitor.startMonitor RemoteJobState = FAILED

2016-03-15T18:09:59,097 ERROR [29c77f58-7758-4128-ae8c-f3d807fab415

29c77f58-7758-4128-ae8c-f3d807fab415 main]: status.SparkJobMonitor

(SessionState.java:printError(1016)) - Status: Failed

显示执行状态为失败。

没有其他信息。