sqoop 1.4.4 使用3

这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,

--compress
--compression-codec 
org.apache.hadoop.io.compress.BZip2Codec

 使用的Bzip

当然hive的表也自动存为Bzip的. 

但是 如果hive 使用RCFile 存储,

create table table_rcfile STORED AS RCFile as
select * from table_bzip;

 会报错 

Failed with exception java.io.IOException:java.io.IOException: not a gzip file

 google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%[email protected]%3E

 

 

 

 

 

你可能感兴趣的:(sqoop)