Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

问题出现原因：

这个错误是因为hive的map join参数默认是开启的：

hive.auto.convert.join=true

使用hive进行map join时， 节点内存不够就会报该类型错误。

MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。

当机器内存不足时，无法在Map端进行join，即会报错

解决方法：

1、可以关闭上面的map join 改为common join，shell命令行

set hive.auto.convert.join=false

2、修改配置文件下的参数可以把map join 关闭，使用common join ，修改hive-site.xml

<property>
<name>hive.auto.convert.joinname>
<value>falsevalue>//true修改为false
<description>Enables the optimization about converting common join into mapjoindescription>
property>