Sqoop案例

导入数据

导入从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，关键字import。

RDBMS到HDFS

示例1：全部导入

第一步：执行脚本：
sqoop import
–connect jdbc:mysql://hcmaster:3306/db_test
–username root
–password root
–table tb_dept
–target-dir /dept
–delete-target-dir
–num-mappers 1
–fields-terminated-by “\t”

第二步：查看结果

查询导入

第一步：执行脚本 ：

sqoop import \
--connect jdbc:mysql://hcmaster:3306/db_test \
--username root \
--password root \
--target-dir /dept \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select deptno,dname,loc from tb_dept where deptno>20 and $CONDITIONS;'

第二步：查看结果：

导入指定列

第一步：执行脚本

sqoop import \
--connect jdbc:mysql://hcmaster:3306/db_test \
--username root \
--password root \
--target-dir /dept \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns deptno,dname \
--table tb_dept

第二步：查看结果

RDBMS到Hive

第一步：执行脚本：

sqoop import \
--connect jdbc:mysql://hcmaster:3306/db_test \
--username root \
--password root \
--table tb_dept \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table tb_dept

该过程分为两步，第一步将数据导入到HDFS（默认位置是/user/hc/表名），第二步将导入到HDFS的数据迁移到Hive仓库。
第二步：查看结果：

RDBMS到HBase

导出数据：HIVE/HDFS中的数据导出到RDBMS

导出指从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，即使用export关键字。

示例：将HDFS中的数据导出到MySQL中。
第一步：将dept.txt上传到/user/hive/warehouse/tb_dept下面。
第二步：在MySQL的db_test中创建表tb_dept。
第三步：执行导出语句：

sqoop export \
--connect jdbc:mysql://hcmaster:3306/db_test \
--username root \
--password root \
--table tb_dept \
--num-mappers 1 \
--export-dir /user/hive/warehouse/tb_dept \
--input-fields-terminated-by '\t'

第四步：查看MySQL中的数据：

脚本打包

第一步：创建hdfs2rdbms.opt脚本文件：

export
--connect
jdbc:mysql://hcmaster:3306/db_test
--username
root
--password
root
--table
tb_dept
--num-mappers
1
--export-dir
/user/hive/warehouse/tb_dept
--input-fields-terminated-by
'\t'

第二步：执行脚本：

第三步：查看结果