sqoop2安装详细过程[截图说明]

本文作者：合肥工业大学 管理学院 钱洋 email：[email protected] 欢迎交流，禁止将本人博客直接复制下来，上传到百度文库等平台。

安装的准备工作

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

所以，在安装sqoop之前，需要将hadoop安装好，这里hadoop的安装流程不是这里的重点，我就不讲了。

首先，查看自己的hadoop版本好，如下截图所示：

使用的命令如下：

[root@master hadoop]# hadoop version

这里的hadoop是2版本，下面进行下载sqoop。

下载sqoop

在如下地址http://www.us.apache.org/dist/sqoop/查看最新的sqoop版本。如下截图所示：

这里最新的版本是1.99.7，就安装这个。

这里这里需要选择hadoop200的安装包。

我这里就直接下载到windows本地了，然后利用xftp工具上传到了linux中的如下目录中，这里目录是我之前建好的。你可以使用mkdir命令创建。

解压安装包

进入安装包的目录下，进行解压，使用如下命名：

[root@master hadoop]# cd /home/hadoop/sqoop
[root@master sqoop]# tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 

如下截图，表示解压过程：

创建相关目录

使用如下命令创建两个相关目录：

[root@master sqoop]# mkdir /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/extra
[root@master sqoop]# mkdir /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/logs

配置sqoop环境变量并使环境变量生效

使用命令

[root@master sqoop]# vi ~/.bash_profile 

在此文件中添加如下截图信息：

具体如下几行命令：

export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin
export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs/

配置完之后使用如下命令是配置文件生效：

[root@master sqoop]# source ~/.bash_profile

修改sqoop配置文件

在这里，首先需要找到本机器hadoop的安装路径，使用如下命令：

[root@master sqoop]# find / -name hadoop

如下截图所示：

下面是修改sqoop.properties这个配置文件。使用如下命令：

[root@master sqoop]# cd /home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200/conf
[root@master conf]# vim sqoop.properties

在这里可以采用/org.apache.sqoop.submission.engine.mapreduce.configuration.directory搜索hadoop的目录，找到这个目录修改问上面截图中的hadoop目录即可。如下截图

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.3/etc/hadoop

接下来，在conf目录下，添加catalina.properties文件。加入本机hadoop的相关jar路径，如下所示：

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/common/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/common/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/hdfs/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/yarn/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/hadoop-2.7.3/share/hadoop/httpfs/tomcat/lib/*.jar

这里唯一要修改的是你的hadoop安装路径是什么。

到此，sqoop就安装完毕了。

启动sqoop

[root@master conf]#  sqoop.sh server start

如下截图所示：

启动sqoop客户端

[root@master conf]# sqoop.sh client