sqoop系列:sqoop(离线数据同步)开发案例

目录

Apache Hadoop生态-目录汇总-持续更新

1:Mysql(RDBMS)与Hive/HDFS数据传输

1.1:列出MySQL数据有哪些数据库:

1.2:根据mysql表结构创建hive表

1.3: RDBMS导入到hdfs

(1)条件导入

(2)增量导入

(3)查询导入-常用

1.4:把mysql数据导入hive

1.5:把mysql数据导入hbase

2:导出数据

1:HIVE/HDFS到RDBMS


Apache Hadoop生态-目录汇总-持续更新

系统环境:centos7

Java环境:Java8

1:Mysql(RDBMS)与Hive/HDFS数据传输

1.1:列出MySQL数据有哪些数据库:

sqoop list-databases \
--connect jdbc:mysql://192.168.5.114:3306/ \
--username hive \
--password hive_pw

1.2:根据mysql表结构创建hive表

根据test库mac_website创建hive表
sqoop create-hive-table \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--hive-table db_hive.my_test

1.3: RDBMS导入到hdfs

sqoop系列:sqoop(离线数据同步)开发案例_第1张图片

 

--target-dir /user/company \ # 指定hdfs路径

--delete-target-dir \ 如果目标文件存在,会删除

--fields-terminated-by "\t" # 指定分隔符

--num-mappers 1MapTask个数, 默认4个(会生成4个文件)

(1)条件导入

sqoop import \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--target-dir /sqoop/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

--columns id,bid \  # 导入指定列,如果涉及到多列用逗号分隔,分隔时不要添加空格
--where "id=1"    # 指定查询条件

(2)增量导入

sqoop import \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--columns id,bid \
--num-mappers 1 \
--target-dir /sqoop/test \
--incremental append \
--check-column id \
--last-value 1

增量导入数据 > last-value指定的值, 这里是从2开始

(3)查询导入-常用

sqoop import \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--query 'select * from test where id < 100 and $CONDITIONS;' \
--target-dir /sqoop/test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
提示:must contain '$CONDITIONS' in WHERE clause.
如果query后使用的是双引号,则$CONDITIONS前必须加转移符,
防止shell识别为自己的变量。
$CONDITIONS的作用,当有多个map时,用来切割数据用的,不然数据没法分配到多个map

1.4:把mysql数据导入hive

sqoop import \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--create-hive-table \
--hive-overwrite \
--hive-database db_hive \
--hive-table my_test2 \
--columns id,bid  \
--where "id=1"

可以接where,columns

--create-hive-table 自动创建hive表
--hive-overwrite          # 覆盖数据
--hive-database db_hive   # 指定hive库
--hive-table staff_hive   # 指定hive表

提示:该过程分为两步,第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库,第一步默认的临时目录是/user/$username/表名

1.5:把mysql数据导入hbase

Sqoop1.4.7,和HBase2.3.6 兼容性有些问题。将HBase的版本更换成HBase1.3.1


sqoop import \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--columns "id,bid" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "student" \
--num-mappers 1 \
--split-by id

--------
--hbase-create-table \           # 自动创建hbase表

2:导出数据

“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据

1:HIVE/HDFS到RDBMS

sqoop export \
--connect "jdbc:mysql://192.168.5.114:3306/test?useUnicode=true&characterEncoding=utf-8" \
--username hive \
--password hive_pw \
--table test1 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/db_hive.db/my_test8 \
--input-fields-terminated-by "\t"

如果hive数据包含表情,mysql驱动使用8.x版本,sqoop语句添加characterEncoding

useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT%2B8

--connect "jdbc:mysql://192.168.5.114:3306/数据库?useUnicode=true&characterEncoding=utf-8" \

提示:Mysql中如果库,表不存在,不会自动创建

sqoop系列:sqoop(离线数据同步)开发案例_第2张图片

 

你可能感兴趣的:(Hadoop生态,#,sqoop,sqoop,hadoop,java)