sqoop2 常见问题 以及处理方式

一、报错：The specified function "connection" is not recognized.
原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这
里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function

 二、sqoop端口冲突

要注意一下$SQOOP_HOME/server/conf/server.xml中的tomcat端口问题，确保这些端口不会和你其他tomcat服务器冲突。

 

三、在start job(如：start job --jid 2)时常见错误：

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

 

在sqoop客户端设置查看job详情：

set option --name verbose --value true
start job --jid 2

四、 使用 status job --jid 1 查看job状态时， 报错：

java.io.IOException: java.net.ConnectException: Call from node3 /192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

 

出现这样的问题有两方面原因：

1、 在hadoop的配置文件mapper-site.xml文件中没有指定mapreduce.jobhistory.address属性，该属性确定MR的记录访问的目标主机以及端口号,原因知道了就好办了，在mapper-site.xml文件中添加上这个属性

<property>
                <name>mapreduce.jobhistory.address</name>
                <value>node3:10020</value>
 </property>

 

2、JobHistoryServer进程没有启动, 通过mr-jobhistory-daemon.sh启动即可
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/sbin/mr-jobhistory-daemon.sh start historyserver