oozie+sqoop+hive 奇葩问题汇总

oozie+sqoop+hive 奇葩问题汇总

错误1：JA009: Unknown rpc kind in rpc headerRPC_WRITABLE
解决：如果采用hadoop2xx，oozie的war包打入了mr1系列的jar，去掉即可（就是拷贝hadoop相关包到libext里面的时候，把mapreduce1里面的jar拷贝进去了，查找带mr1的jar包去掉即可）


错误2：java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.SqoopMain not found
解决：提交oozie任务的时候，未指定到sharelib下面的sqoop目录下，如下设置即可解决
 

     < property >
     < name > oozie.libpath </ name >
     < value > hdfs: // dnsa-201:9000/user/hadoop/share/lib/lib_20161202132230/sqoop</value>
     </ property >

错误3：mysql的问题，需要把$HADOOP_HOME/etc/hadoop/yarn里面的mysql驱动换成最新，即可解决常见的mysql问题

调试利器：
记得提交oozie job的时候，sqoop命令加入一行--verbose，那么所有的log以及错误详细信息都会显示在$HADOOP_HOME/logs/userlogs目录下面，查找stdout即可定位到所有问题。

还有一个大坑问题，sqoop命令行里面 每一条命令后面如果跟参数，全部都需要换行，比如 -m 5  不能写在一行，-m 5分成两行写 ，否则就是识别不了的命令，坑了半天~

查找不到hive命令，两种方法，一种在$SQOOP_HOME/conf/sqoop-env.sh 里面添加hive_home或者指定HIVE_HOME 
                                       另一种直接在sqoop命令里面指定--hive-home  $HIVE_HOME 即可，记得换行。 

指定hive多分区的问题，需要修改sqoop源码，修改TableDefWriter