一、sqoop从mysql导入导出数据到hdfs、hive、hbase

一、sqoop介绍

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

sqoop原理
将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

sqoop安装

1、下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2、上传tar解压到指定目录 /opt/module/sqoop

3、修改配置文件

1）修改文件名
$ mv sqoop-env-template.sh sqoop-env.sh

2）修改sqoop-env.sh	 添加如下配置

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10

export HBASE_HOME=/opt/module/hbase

4、拷贝一个mysql 驱动到 sqoop/lib 目录下

$ cp mysql-connector-java-5.1.27-bin.jar \
/opt/module/sqoop/lib/

5、验证mysql
我们可以通过某一个command来验证sqoop配置是否正确：

$ bin/sqoop help
出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  import-mainframe    Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases        List available databases on a server
  list-tables           List available tables in a database
  merge              Merge results of incremental imports
  metastore           Run a standalone Sqoop metastore
  version            Display version information

6、测试sqoop连接mysql库

bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password root

出现如下输出数据库列表：
information_schema
metastore
mysql
oozie
performance_schema

二、导入数据到HDFS

事前在mysql中准备一张有数据的表

$ mysql -uroot -proot
mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

1、全表导入

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

2、查询导入-支持连表查询导入

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

提示：must contain '$CONDITIONS' in WHERE clause.
如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

3、导入指定列

方式一：通过查询导入，只查询需要导入的列

方式二：

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

4、使用sqoop关键字筛选查询导入数据

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

5、myql导入到hive，自动创建hive表

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/root/表名

6、导入到HBase

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password root \
--table company \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能

解决方案：手动创建HBase表

hbase> create 'hbase_company,'info'

在HBase中scan这张表得到如下内容
hbase> scan ‘hbase_company’

三、数据导出

1、hive\hdfs 导出到mysql

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不会自动创建

2、hbase 导出到mysql

详细介绍：https://www.cnblogs.com/felixzh/p/11362183.html

导出过程：
hbase表是列试存储，所以无法直接导出到mysql中，所以先有hbase表转为hive表再导出

a) Mysql创建空表，导出不会自动建表
mysql> create table company.employee(rowkey int(11),id int(11),name varchar(20),primary key (id));

b) hbase创建内部表
hbase(main):001:0> create 'employee','info'
hbase(main):002:0> put 'employee',1,'info:id',1
hbase(main):003:0> put 'employee',1,'info:name','peter'
hbase(main):004:0> put 'employee',2,'info:id',2
hbase(main):005:0> put 'employee',2,'info:name','paul'

c) hive创建外部表
CREATE EXTERNAL TABLE h_employee (key int,id int,name string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" =
":key,info:id, info:name"
)
TBLPROPERTIES( "hbase.table.name" = "employee",
"hbase.mapred.output.outputtable" = "employee");

d) hive创建内部表
CREATE TABLE test.employee(key INT,id INT,name STRING);

e) hive外部表的数据导入内部表中
insert overwrite table employee select * from h_employee;

f) sqoop导出hive表至mysql中
[root@master bin]# sqoop export -connect jdbc:mysql://hadoop102:3306/company -username root -password root -table employee