1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql.

1.Sqoop导出数据到hive的分区表中

1.先在hive创建分区表

create table if not exists part2(
id int,
name string
)
partitioned by (dt string)
row format delimited fields terminated by ' '
;

2.添加分区目录 不添加后面执行sqoop语句会报你错误 没有
FAILED: ValidationFailureSemanticException Partition spec {dt=2019-09-18} contains non-partition columns
所以要手动添加!!!!

alter table part2 add partition(dt='2019-09-18') ;
sqoop import -connect jdbc:mysql://hadoop01:3306/test \
--driver com.mysql.jdbc.Driver \
--username root \
--password root \
--m 1 \
--table parttest \
--hive-import \
--hive-overwrite \
--hive-table qf24.part2 \
--hive-partition-key  DT \
--hive-partition-value 2019-09-18 \
--fields-terminated-by ' ' \
;

注意分区字段不是实际的表字段 只是hive的一个分区目录

//查看分区表信息

select * from part2;

1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第1张图片
1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第2张图片

2.Sqoop-import:mysql数据以列式存储到hdfs

sqoop import \
--connect jdbc:mysql://hadoop01:3306/test \
--driver com.mysql.jdbc.Driver \
--username root \
--password root \
--table userinfo \
--target-dir /sqoop/import/user_parquet \
--delete-target-dir \
--m 1 \
--as-parquetfile

创建hive表 测试数据 没问题

create table test_parquet(
id int,
name string    
)
stored as parquet
location '/sqoop/import/user_parquet/'
;

1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第3张图片

3.Sqoop-export案例:hdfs到mysql.

sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--driver com.mysql.jdbc.Driver \
--username root \
--password root \
--table u2 \
--export-dir hdfs://qf:8020/out/userinfo/*

提前建表u2
–export-dir是一个hdfs中的目录,它不识别_SUCCESS文件
从hdfs到mysql时注意数据类型

1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第4张图片
1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第5张图片
1.Sqoop导出数据到hive的分区表中 2. Sqoop-import:mysql数据以列式存储到hdfs 3.Sqoop-export案例:hdfs到mysql._第6张图片

你可能感兴趣的:(Sqoop到hive分区,Sqoop列式存储,Sqoop-export,sqoop)