Sqoop 导入导出详解(mysql-hive/hdfs)
1.导入数据
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
1.1 mysql 数据准备
• 确定Mysql服务开启正常
• 在Mysql中新建一张表并插入一些数据
$ mysql -uroot -p123456
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');
1.2 RDBMS到HDFS
1.2.1 全部导入
[luomk@hadoop102 sqoop]$ bin/sqoop import \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --table staff \
> --target-dir /user/company \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t"1.2.2 查询导入
[luomk@hadoop102 sqoop]$ bin/sqoop import \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --target-dir /user/company \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --query 'select name,sex from staff where id <=1 and $CONDITIONS;'尖叫提示：must contain '$CONDITIONS' in WHERE clause.
尖叫提示：如果query后使用的是双引号，则$CONDITIONS前必须加转义符，防止shell识别为自己的变量。
尖叫提示：--query选项，不能同时与--table选项使用
1.2.3 导入指定列
[luomk@hadoop102 sqoop]$ bin/sqoop import \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --target-dir /user/company \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --columns id,sex \
> --table staff尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格
1.2.4 使用sqoop关键字筛选查询导入数据
[luomk@hadoop102 sqoop]$ bin/sqoop import \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --target-dir /user/company \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --table staff \
> --where "id=1"尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。
1.2.5 RDBMS到Hive
[luomk@hadoop102 sqoop]$ bin/sqoop import \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --table staff \
> --num-mappers 1 \
> --hive-import \
> --fields-terminated-by "\t" \
> --hive-overwrite \
> --hive-table staff_hive尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库(如果Hive中的表不存在，会自动创建的)
尖叫提示：第一步默认的临时目录是/user/admin/表名
2.导出数据
在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。
HDFS/hive到RDBMS
[luomk@hadoop102 sqoop]$ bin/sqoop export \
> --connect jdbc:mysql://hadoop102:3306/company \
> --username root \
> --password 123456 \
> --table staff \
> --num-mappers 1 \
> --export-dir /user/hive/warehouse/staff_hive \
> --input-fields-terminated-by "\t"尖叫提示：Mysql中如果表不存在，不会自动创建。
尖叫提示：如果Hive的全部数据导入Mysql，可能需要解决mysql的主键自增问题（解决方案：取消mysql的主键）。
尖叫提示：Hive的数据导入到mysql是追加而不是覆盖。
3.脚本打包
使用opt格式的文件打包sqoop命令，然后执行
3.1 创建一个.opt文件
[luomk@hadoop102 sqoop]$ mkdir opt
[luomk@hadoop102 sqoop]$ touch opt/job_HDFS2RDBMS.opt
3.2 编写sqoop脚本
[luomk@hadoop102 sqoop]$ vi opt/job_HDFS2RDBMS.opt
export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"3.3 执行该脚本
[luomk@hadoop102 sqoop]$ bin/sqoop --options-file /opt/module/sqoop/opt/job_HDFS2RDBMS.opt
4.Sqoop一些常用命令及参数
4.1 常用命令列举
这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。
| 序号 |
命令 |
类 |
说明 |
| 1 |
import |
ImportTool |
将数据导入到集群 |
| 2 |
export |
ExportTool |
将集群数据导出 |
| 3 |
codegen |
CodeGenTool |
获取数据库中某张表数据生成Java并打包Jar |
| 4 |
create-hive-table |
CreateHiveTableTool |
创建Hive表 |
| 5 |
eval |
EvalSqlTool |
查看SQL执行结果 |
| 6 |
import-all-tables |
ImportAllTablesTool |
导入某个数据库下所有表到HDFS中 |
| 7 |
job
|
JobTool |
用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。 |
| 8 |
list-databases |
ListDatabasesTool |
列出所有数据库名 |
| 9 |
list-tables |
ListTablesTool |
列出某个数据库下所有表 |
| 10 |
merge |
MergeTool |
将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中 |
| 11 |
metastore
|
MetastoreTool |
记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。 |
| 12 |
help |
HelpTool |
打印sqoop帮助信息 |
| 13 |
version |
VersionTool |
打印sqoop版本信息 |
4.2 公用参数详解
刚才列举了一些Sqoop的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。
首先来我们来介绍一下公用的参数，所谓公用参数，就是大多数命令都支持的参数。
4.2.1 公用参数：数据库连接
| 序号 |
参数 |
说明 |
| 1 |
--connect |
连接关系型数据库的URL |
| 2 |
--connection-manager |
指定要使用的连接管理类 |
| 3 |
--driver |
JDBC的driver class |
| 4 |
--help |
打印帮助信息 |
| 5 |
--password |
连接数据库的密码 |
| 6 |
--username |
连接数据库的用户名 |
| 7 |
--verbose |
在控制台打印出详细信息 |
4.2.2 公用参数：import
| 序号 |
参数 |
说明 |
| 1 |
--enclosed-by |
给字段值前后加上指定的字符 |
| 2 |
--escaped-by |
对字段中的双引号加转义符 |
| 3 |
--fields-terminated-by |
设定每个字段是以什么符号作为结束，默认为逗号 |
| 4 |
--lines-terminated-by |
设定每行记录之间的分隔符，默认是\n |
| 5 |
--mysql-delimiters |
Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。 |
| 6 |
--optionally-enclosed-by |
给带有双引号或单引号的字段值前后加上指定字符。 |
4.2.3 公用参数：export
| 序号 |
参数 |
说明 |
| 1 |
--input-enclosed-by |
对字段值前后加上指定字符 |
| 2 |
--input-escaped-by |
对含有转移符的字段做转义处理 |
| 3 |
--input-fields-terminated-by |
字段之间的分隔符 |
| 4 |
--input-lines-terminated-by |
行之间的分隔符 |
| 5 |
--input-optionally-enclosed-by |
给带有双引号或单引号的字段前后加上指定字符 |
4.2.4 公用参数：hive
| 序号 |
参数 |
说明 |
| 1 |
--hive-delims-replacement |
用自定义的字符串替换掉数据中的\r\n和\013 \010等字符 (补：\013 \010 就是\r\n ) |
| 2 |
--hive-drop-import-delims |
在导入数据到hive时，去掉数据中的\r\n\013\010这样的字符 |
| 3 |
--map-column-hive |
生成hive表时，可以更改生成字段的数据类型 |
| 4 |
--hive-partition-key |
创建分区，后面直接跟分区名，分区字段的默认类型为string |
| 5 |
--hive-partition-value |
导入数据时，指定某个分区的值 |
| 6 |
--hive-home |
hive的安装目录，可以通过该参数覆盖之前默认配置的目录 |
| 7 |
--hive-import |
将数据从关系数据库中导入到hive表中 |
| 8 |
--hive-overwrite |
覆盖掉在hive表中已经存在的数据 |
| 9 |
--create-hive-table |
默认是false，即，如果目标表已经存在了，那么创建任务失败。 |
| 10 |
--hive-table |
后面接要创建的hive表,默认使用MySQL的表名 |
| 11 |
--table |
指定关系数据库的表名 |