使用Sqoop将数据从RDBMS(关系型数据库) 到hdfs和Hive的导入导出
一、RDBMS 到 HDFS/HIVE
1.首先启动Mysql
service mysql start
2.在mysql中新建一张表并插入数据
# mysql -uroot -proot
mysql> create table dept(id int primary key ,dname varchar(20),sex varchar(5));
mysql> insert into dept values(1,'tom','male');
mysql> insert into dept values(2,'jack','f');
3.导入数据
（1）全部导入
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table dept \
--target-dir /user/dept \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
( 2 )查询导入
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--target-dir /user/dept \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select dname from emp where id <=1 and $CONDITIONS;'
注：这里的CONDITIONS不能省去，他的作用相当于MapReduce流程中的切片（分片）过程。
（3）导入指定列
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root --target-dir /user/dept \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns dname,sex \
--table emp
( 4 )关键字筛选查询导入数据
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--target-dir /user/emp2 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table dept \
--where "id=1"
( 5 )RDBMS到HIVE
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table dept \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table dept_hive
注：执行这个操作之前需要把将hive/lib中的hive-common-2.3.3.jar拷贝到sqoop的lib目录中
（6）从RDBMS增量导入数据到HIVE中（根据主键）
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table emp \
--num-mappers 1 \
--fields-terminated-by '\t' \
--target-dir /user/hive/warehouse/taff_hive1 \
--check-column eid \
--incremental append \
--last-value 3
注：append不能与–hive-的参数同时使用，并且RDBMS导入到HIVE的过程是：
先把RDBMS数据导入到HDFS本地目录下，然后再转移到HIVE中。
（7）从RDBMS增量导入数据到HIVE中（根据实时时间字段）
bin/sqoop import \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table staff_timestamp \
--fields-terminated-by '\t' \
--check-column last_modified \
--incremental lastmodified \
--last-value "2018-11-8 21:46:30" \
--num-mappers 1 \
--append
二、HDFS/HIVE到RDBMS
（1）HDFS到RDBMS
bin/sqoop export \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table dept \
--num-mappers 1 \
--export-dir /user/hive/warehouse/t1/part-m-00001 \
--input-fields-terminated-by '\t'
注：一定要清楚以什么为分割导出，不然会导致导出失败
（2）HIVE到RDBMS
bin/sqoop export \
--connect jdbc:mysql://Mage1:3306/bigdata11 \
--username root \
--password root \
--table dept \
--hive-table hive_dept
结束语：以上的sqoop在对RDBMS到HIVE/HDFS的一些常用的数据导入导出，另外sqoop还有许多命令&参数，有兴趣的小伙伴可以多多了解。