Sqoop详细安装与环境配置

1.Sqoop作用

Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。

2.安装教程

1. 下载安装包
   下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz

2. 解压到opt目录下
   tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz

3. 改名并移到指定opt目录下的新建子目录soft下
   mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146

4. 导mysql驱动包mysql-connector-java-5.1.38到sqoop146的lib文件夹下
   官网下载mysql驱动包：
   mv mysql-connector-java-5.1.38-bin.jar /opt/soft/sqoop146/lib
   另一种方法：
   到IDEA本地仓库去找到mysql驱动包拖到lib文件夹下

5. 导hadoop驱动包到sqoop的lib文件夹
   主要有3个 ：
   hadoop-common-2.6.0-cdh5.14.2.jar
   hadoop-hdfs-2.6.0-cdh5.14.2.jar
   hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar

cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/mapreduce2/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

如下图所示：

6. 到sqoop的conf文件下更改配置
   cd soft/sqoop146/conf/

7. 改文件名并修改配置
   cp sqoop-env-template.sh sqoop-env.sh

8. 修改sqoop-env.sh 中配置
   添加以下配置信息

//hadoop目录
export HADOOP_COMMON_HOME=/opt/soft/hadoop260
//hadoop目录
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260
//hive环境变量目录
export HIVE_HOME=/opt/soft/hive110
//zookeeper配置文件目录
export ZOOCFGDIR=/opt/soft/zk345/conf
//hbase环境变量目录
export HBASE_HOME=/opt/soft/hbase120

9. 配置sqoop环境变量

vi /etc/profile
//sqoop目录
export SQOOP_HOME=/opt/soft/sqoop146

export PATH=$PATH:$SQOOP_HOME/bin

10. 激活配置
    source /etc/profile
11. 验证是否安装成功
    以下命令用于验证Sqoop版本。
    sqoop-version

如图所示出现版本信息，sqoop已经安装成功！

12. 列出mysql中所有数据库
    sqoop list-databases --username root --password root --connect jdbc:mysql://localhost:3306/

13. 列出mysql中某个数据库的所有表

    sqoop list-tables --username root --password ok --connect jdbc:mysql://localhost:3306/数据库名

下篇文章中小编会整理出如何使用sqoop从RDB到HDFS的数据迁移、到Hive的数据迁移、到Hbase的数据迁移，以及Hadoop的HDFS中的数据导进到RDB，和一些导数据中遇到的常见报错和解决方案