sqoop 数据导入hive

一. sqoop: mysql->hive

sqoop import -m 1 --hive-import --connect "jdbc:mysql://127.0.0.1:3306/TEST?zeroDateTimeBehavior=CONVERT_TO_NULL&useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai" --username sa --password-file /user/root/_sqoop/pwd127.txt --table user --hive-database TEST --hive-table user 

 这里jdbc url后面跟了一些连接参数,看情况可有可无;

二.sqoop: oracle->hive

# 使用oracle 服务名jdbc url
sqoop import --connect jdbc:oracle:thin:@//127.0.0.1:1521/ORCL --username sa --password 123456  --table TEST.user--hive-import --hive-database test --hive-table user  -m 1
# 使用oracle SID jdbs url
sqoop import --connect jdbc:oracle:thin:@127.0.0.1:1521:ORCL --username sa --password 123456 --table TEST.user --hive-import --hive-database test --hive-table user  -m 1

 三.建立增量任务

  1.启动sqoop metastore服务存储job

sqoop metastore

   2.创建增量任务

sqoop job [metastore] --create  --  --incremental append --check-column id --last-value 

sqoop job --meta-connect jdbc:hsqldb:hsql://192.168.1.70:16000/sqoop --create sync_test -- \
import -m 1 --hive-import --connect "jdbc:mysql://192.168.1.196:3306/TEST" --username sa --password-file /user/root/_sqoop/pwd127.txt --table user --hive-database TEST --hive-table user \
--incremental append --check-column id --last-value 0

 TIPS: 不指定metastore时默认使用本地的hsql,分布式的时候不可用;

--check-cloumn 须要是 not null ,有序字段

--last-value 如果是第一次导入可以是 0,(一开始就使用增量导入)

3.运行任务

sqoop job [metastore] --exec 
sqoop job --meta-connect jdbc:hsqldb:hsql://192.168.1.70:16000/sqoop --exec sync_test

     sqoop job [metastore] --list 可以查看任务列表

四,HUE 任务

  1.建立workflow;

  2.在workspace 空间中建立sh文件

  3.在sh中写入增量任务命令::sqoop job --meta-connect jdbc:hsqldb:hsql://192.168.1.70:16000/sqoop --exec sync_test

  4.再编辑workflow 添加shell组件,选择workspace中的sh文件, 测试

  5.建立schedule,将workflow添加进来,编辑运行规则;

 

 

 

sqoop 数据导入hive_第1张图片

 

更多细节可参考:

 https://www.cnblogs.com/canyangfeixue/p/4731520.html

.http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html

你可能感兴趣的:(sqoop 数据导入hive)