Sqoop的安装与实践（mysql数据导入hdfs）

下载

官网 ： http://sqoop.apache.org/
下载 ： sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

解压

tar -zxvf /home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置环境变量

vi /etc/profile

export SQOOP_HOME=/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

配置文件

vi ./conf/sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.8.5/
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.8.5/
export HIVE_HOME=/usr/local/hive-1.2.1/
export ZOOCFGDIR=/usr/local/zookeeper-3.4.7/

启动测试

sqoop version
sqoop help

mysql驱动包

cp /home/mysql-connector-java-5.1.18.jar ./lib/

查看数据库

sqoop list-databases --connect jdbc:mysql://hadoop01:3306
–username root --password 123456

查看数据表

sqoop list-databases --connect jdbc:mysql://hadoop01:3306
–username root --password 123456

Mysql 导入 HDFS

执行命令前需要配置并启动好hadoop （参考文章 linux和window安装hadoop-3.1.4）

hdfs dfs -mkdir -p /sqoopdata/test

导出 test 库的 user 表数据到 /sqoopdata/test/user

sqoop import --connect jdbc:mysql://hadoop01:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--target-dir hdfs://hadoop01:9000/sqoopdata/test/user

查看数据

hdfs dfs -cat /sqoopdata/test/user/*

HDFS 导出 Mysql

//将数据从HDFS中导出到Mysql中

sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--username root \
--password 123456 \
--table u3 \
--input-null-string '' \
--input-null-non-string '' \
--export-dir hdfs://hadoop01:9000/sqoopdata/test/t3/*