Sqoop的安装配置

-----------------------------------------------------------------

Sqoop原理

将导入或导出命令翻译成mapreduce程序来实现。

-----------------------------------------------------------------

Sqoop安装

前提：安装Sqoop的前提是已经具备Java和Hadoop的环境。

1.下载解压

1) 最新版下载地址：

https://mirrors.tuna.tsinghua.edu.cn/apache

2) 上传安装包sqoop-1.99.7-bin-hadoop200.tar.gz到虚拟机中，如我的上传目录是：/home/centos/Downloads

3) 解压sqoop安装包到指定目录，如：

tar -zxvd /home/centos/Downloads/sqoop-1.99.7-bin-hadoop200.tar.gz -C /soft

cd /soft

ln -s sqoop-1.99.7-bin-hadoop200 sqoop

-----------------------------------------------------------------

2.修改配置文件

Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。
1) 重命名配置文件
$ mv sqoop-env-template.sh sqoop-env.sh
$ mv sqoop-site-template.xml sqoop-site.xml

2) 修改配置文件
sqoop-env.sh

export HADOOP_COMMON_HOME=/soft/hadoop
export HADOOP_MAPRED_HOME=/soft/hadoop
export HIVE_HOME=/soft/hive
export ZOOKEEPER_HOME=/soft/zookeeper
export ZOOCFGDIR=/soft/zookeeper/conf

-----------------------------------------------------------------

3.拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下，如：

$ cp -a mysql-connector-java-5.1.27-bin.jar /soft/sqoop/lib/

-----------------------------------------------------------------

4.验证Sqoop

我们可以通过某一个command来验证sqoop配置是否正确：

$ bin/sqoop help

-----------------------------------------------------------------

5.测试Sqoop是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://s101:3306/ --username root --password 123456
出现如下输出：
information_schema
metastore
mysql
performance_schema