hive小文件问题及hive小文件合并

HDFS块的概念--http://www.cnblogs.com/zlslch/p/5081487.html

关于 HDFS 的 file size 和 block size--http://blog.csdn.net/samhacker/article/details/23089157

Hive小文件合并--http://blog.csdn.net/yycdaizi/article/details/43341239，http://blog.csdn.net/djd1234567/article/details/51581201

hive中控制map和reduce数量的简单实现方法--http://blog.csdn.net/zhong_han_jun/article/details/50814246

控制map和reduce数及压缩方式的写法：

set hive.exec.reducers.bytes.per.reducer=1073741824;（控制reducer）

set hive.exec.compress.output=true;（压缩）
set mapred.output.compress=true; （压缩）
set mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;  （压缩格式）
set io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec;" （压缩）
SET mapred.output.compression.type=BLOCK; （压缩）