sqoop 导入导出数据倾斜问题优化

导入:

PG => hive   : 


sqoop import  --connect jdbc:postgresql://host:5432/test --username test --password test --table jxl_main_service --hive-import   --hive-table  jxl_tmp.jxl_main_service --split-by report_id  -m 18    


由于数据分布不均匀,导致少数MapJob 比较缓慢,使用--split-by 按照字段进行切分,然后-m 提高并行的。

导出:

hive=> PG :

 


sqoop export -Dorg.apache.sqoop.export.text.dump_data_on_error=true  --connect jdbc:postgresql://ip:5432/db  --update-mode allowinsert  --username db --password 'db'  --table comm_identity_location  --fields-terminated-by '\001'  --export-dir 'hdfs://nm/ods/20170829/tmp/t_iden_procity'  --input-null-string '\\N' --input-null-non-string '\\N' --input-fields-terminated-by '\001'



 ::导出:

你可能感兴趣的:(sqoop 导入导出数据倾斜问题优化)