简洁的 sqoop 安装

简介

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。

• 把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中。
• 把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中。

安装

解压

tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

修改系统环境变量

vim /etc/profile
    export SQOOP_HOME=/usr/local/lib/sqoop1
    export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

修改sqoop-env.conf配置文件

cp sqoop/conf/sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
    # 加入hadoop目录
    #Set path to where bin/hadoop is available
    export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.6.0

    #Set path to where hadoop-*-core.jar is available
    export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.6.0
    #因为HADOOP_HOME、HBASE_HOME、HIVE_HOME以及ZOOKEEPER_HOME都在etc/profile中有过定义，因此在此不再定义。

将MySQL的驱动拷贝到lib下

cp mysql-connector-java-5.1.39-bin.jar /usr/local/lib/sqoop/lib

测试

显示mysql数据库列表:

sqoop list-databases --connect jdbc:mysql://192.168.66.4:3306 --username root --password root