Sqoop应用实例

#自定义的sql导入  
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--query 'SELECT tid,tname,tlevel from fbd_trade WHERE tid<20 AND $CONDITIONS' \
--split-by fbd_trade.tid 
--target-dir /user/hive/warehouse/test.db/fbd_trade


#增量导入
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--incremental append \
--check-column tid \
--last-value 30 \
--columns "tid,tname,tlevel" \
--target-dir /user/hive/warehouse/test.db/fbd_trade


#创建hive表
create table fbd_trade_test (
tid INT
, tname STRING
, tlevel INT
)
STORED AS TEXTFILE;


#导入hive表
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test


#hive增量导入  
sqoop import \
--connect jdbc:mysql://10.238.29.164:3306/test_base \
--username root \
--password pwd \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<20" \
--hive-import \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test


如果这样导入，则导入一次就会产成一个数据文件，所以如果数据量小就用增量导入的形式
而采用全量导入这样可以减少hdfs中的小文件。




#指定导入的密码文件
sqoop import --options-file import.txt \
--num-mappers 1 \
--table fbd_trade \
--columns "tid,tname,tlevel" \
--where "fbd_trade.tid<10" \
--hive-import \
--hive-overwrite \
--hive-database pcitc_fbd \
--hive-table fbd_trade_test  


#import.txt内容
--connect 
jdbc:mysql://10.238.29.164:3306/test_base  
--username 
root 
--password 
pwd