大数据开发之Sqoop(对所学内容进行总结)

Sqoop官方文档（开发人员指南）：http://sqoop.apache.org/docs/1.99.7/dev.html

用户指南：http://sqoop.apache.org/docs/1.99.7/user.html

没有用客户端来操作因此详情看官方Java客户端API指南：http://sqoop.apache.org/docs/1.99.7/dev/ClientAPI.html

sqoopAPI：http://sqoop.apache.org/docs/1.4.7/api/index.html

一、Sqoop简介

1.官方说明：

Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.

Sqoop successfully graduated from the Incubator in March of 2012 and is now a Top-Level Apache project:

Latest stable release is 1.4.7 . Latest cut of Sqoop2 is 1.99.7 . Note that 1.99.7 is not compatible with 1.4.7 and not feature complete, it is not intended for production deployment.

 

Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据 。

Sqoop于2012年3月成功从孵化器毕业，现在是一个顶级Apache项目最新的稳定版本是1.4.7。

Sqoop2的最新剪辑是1.99.7（。请注意，1.99.7与1.4.7不兼容且功能不完整，不适用于生产部署。

2.作用

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 

3.工作原理

将导入或导出命令翻译成 mapreduce 程序来实现。

在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

4.历程

 二、Sqoop的安装

1.Sqoop安装的前提的是已经具备Java和Hadoop的环境

2.下载安装包：http://us.mirrors.quenda.co/apache/sqoop/1.4.7/

3.上传安装包并解压到指定的目录

tar -xvzf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C apps 

4.重新命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh

$ mv sqoop-site-template.xml sqoop-site.xml

6.修改配置文件

sqoop-env.sh

#Set path to where bin/hadoop is available
#export HADOOP_COMMON_HOME=
export HADOOP_COMMON_HOME=/root/apps/hadoop-2.8.1

#Set path to where hadoop-*-core.jar is available
#export HADOOP_MAPRED_HOME=
export HADOOP_MAPRED_HOME=/root/apps/hadoop-2.8.1/bin

#set the path to where bin/hbase is available
#export HBASE_HOME=
export HBASE_HOME=/root/apps/hbase-1.2.1/bin

#Set the path to where bin/hive is available
#export HIVE_HOME=
export HIVE_HOME=/root/apps/hive/bin

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=
export ZOOCFGDIR=/root/apps/zookeeper-3.4.6/conf
export ZOOKEEPER_HOME=/root/apps/zookeeper-3.4.6 

7.拷贝jdbc驱动

cp -a mysql-connector-java-8.0.11.jar /root/apps/sqoop-1.4.7.bin__hadoop-2.6.0-alpha/lib/

8.测试sqoop能否连接到数据库

 bin>./sqoop list-databases --connect jdbc:mysql://hdp-1:3306/ --username root --password root

会出现如下输出

information_schema

metastore

mysql

performance_schema

 

三、sqoop的简单实用

1导入数据

在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，

HBASE）中传输数据，叫做：导入，即使用 import 关键字。

1.1RDBMS到HDFS

(1)打开MySQL服务

service mysql start

(2)在MySQL中创建一张表并添加数据

mysql -u用户名 -p密码
mysql> create database company;
mysql> create table company.user(id int(4) primary key not null auto_increment, name 
varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('sqoop', 'Male');
mysql> insert into company.staff(name, sex) values('sqoop', 'FeMale');

(3)导入数据

(a)全部导入

bin/sqoop import \
--connect jdbc:mysql:主机名：3306/company \
--username 用户名 \
--password 密码 \
--table 创建的表名 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

（b）查询导入

bin/sqoop import \
--connect jdbc:mysql:主机名：3306/company \
--username 用户名 \
--password 密码 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from 创建的表 where id <=1 and $CONDITIONS;'

（c）导入指定列

bin/sqoop import \
--connect jdbc:mysql://主机:3306/company \
--username 用户名 \
--password 密码 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

1.2说明

1：must contain '$CONDITIONS' in WHERE clause.

2：如果 query 后使用的是双引号，则$CONDITIONS 前必须加转移符，防止 shell

识别为自己的变量。

3：--query 选项，不能同时与--table 选项使用

4：columns 中如果涉及到多列，用逗号分隔，分隔时不要添加空格

1.3RDBMS到Hive

$ bin/sqoop import \
--connect jdbc:mysql://主句:3306/company \
--username 用户名 \
--password 密码 \
--table 表 \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table 表

 1.4说明

该过程分为两步，第一步将数据导入到 HDFS，第二步将导入到 HDFS 的数据迁

移到 Hive 仓库

第一步默认的临时目录是/user/admin/表名

2.导出数据

在 Sqoop 中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群

（RDBMS）中传输数据，叫做：导出，即使用 export 关键字。 

2.1导出

bin/sqoop export \
--connect jdbc:mysql://主机:3306/company \
--username 用户名 \
--password 密码 \
--table 表 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/表 \
--input-fields-terminated-by "\t"

提示：如果MySQL中没有表，不会自动创建

 3.脚本打包（实用opt格式的文件来打包sqoop命令，然后执行）

mkdir opt 

$ touch opt/job_HDFS2RDBMS.opt

编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

export

--connect jdbc:mysql://主机:3306/company

--username 用户名

--password 密码

--table 表

--num-mappers 1

--export-dir /user/hive/warehouse/表

--input-fields-terminated-by "\t"

执行该脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

四、Sqoop常用命令

序号	命令	类	说明
1	import	ImportTool	将数据导入到集群
2	export	ExportTool	将集群数据导出
3	codegen	CodeGenTool	获取数据库中某张表数据生成Java 并打包Jar
4	create-hive-table	CreateHiveTableTool	创建 Hive 表
5	eval	EvalSqlTool	查看 SQL 执行结果
6	import-all-tables	ImportAllTablesTool	导入某个数据库下所有表到 HDFS 中
7	job	JobTool	用来生成一个 sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。
8	list-databases	ListDatabasesTool	列出所有数据库名
9	list-tables	ListTablesTool	列出某个数据库下所有表
10	merge	MergeTool	将 HDFS 中不同目录下面的数据合在一起，并存放在指定的目录中
11	metastore	MetastoreTool	记录 sqoop job 的元数据信息，如果不启动 metastore 实例，则默认的元数据存储目要更改存储目录，可以在配置文件 sqoop-site.xml 中进行更改。
12	help	HelpTool	打印 sqoop 帮助信息
13	version	VersionTool	打印 sqoop 版本信息

五、参数详解

1.数据库连接

序号	参数	说明
1	--connect	连接关系型数据库的 URL
2	--connection-manager	指定要使用的连接管理类
3	--driver	JDBC 的 driver class
4	--help	打印帮助信息
5	--password	连接数据库的密码
6	--username	连接数据库的用户名
7	--verbose	在控制台打印出详细信息

2.import

序号	参数	说明
1	--enclosed-by	给字段值前后加上指定的字符
2	--escaped-by	对字段中的双引号加转义符
3	--fields-terminated-by	设定每个字段是以什么符号
4	--lines-terminated-by	设定每行记录之间的分隔符默认是\n
5	--mysql-delimiters Mysql	默认的分隔符设置，字段之间以逗号分隔，行之间以\n 分隔，默认转义符是\，字段值以单引号包裹。
6	--optionally-enclosed-by	给带有双引号或单引号的字段值前后加上指定字符。

3.export

序号	参数	说明
1	--input-enclosed-by	对字段值前后加上指定字符
2	--input-escaped-by	对含有转移符的字段做转义处理
3	--input-fields-terminated-by	字段之间的分隔符
4	--input-lines-terminated-by	行之间的分隔符
5	--input-optionally-enclosed-by	给带有双引号或单引号的字段前后加上指定字符

4.Hive

序号	参数	说明
1	--hive-delims-replacement	用自定义的字符串替换掉数据中的\r\n和\013 \010等字符
2	--hive-drop-import-delims	在导入数据到 hive 时，去掉数据中的\r\n\013\010 这样的字符
3	--map-column-hive	生成 hive 表时，可以更改生成字段的数据类型
4	--hive-partition-key	创建分区，后面直接跟分区名，分区字段的默认类型为string
5	--hive-partition-value	导入数据时，指定某个分区的值
6	--hive-home	hive 的安装目录，可以通过该参数覆盖之前默认配置的目录
7	--hive-import	将数据从关系数据库中导入到 hive 表中
8	--hive-overwrite	覆盖掉在 hive 表中已经存在的数据
9	--create-hive-table	默认是 false，即，如果目标表已经存在了，那么创建任务失败。
10	--hive-table	后面接要创建的 hive 表,默认使用 MySQL 的表名
11	--table	指定关系数据库的表名

六、需要学习的东西太多，今后一一补充