HIVE合理提效——RCFILE文件类型一点心得

							 HIVE数据导入和提效一点心得
							 
Hive目前支持多种文件存储类型，默认的txtfile本身加载速度最快，但是查询效率最低。由于数据仓库是一次写入，多次读。所以大数据更重视查询效率，而RCFILE这种文件类型查询效率是很可观的。相应的它加载速度并不高。另外还不支持直接load data。常用的方法是insert into table	select * from xx.（xx表可以是txtfile类型）							

create table if not exists rcfile_table(
site string,
url string,
pv bigint,
label string)
row format delimited
fields terminated by ‘\t’
stored as rcfile;
插入数据操作：
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
insert overwrite table rcfile_table select * from textfile_table;