HIVE Group by
#HIVE Group by
怎么使用group by这里不做过多介绍。
控制在map端进行第一阶段的聚合，这种方法效率会比较高，但是可能需要更多的内存。
set hive.map.aggr=true;
##GROUPING SETS
GROUPING SETS 是对普通group by的增强，允许用户指定多个需要group by的选项，GROUPING SETS的结果可以理解成多个group by结果进行union操作，但是要知道并不是这样运行的。
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a, b), a, b, ( ) )；
结果等价于：
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b
UNION
SELECT a, null, SUM( c ) FROM tab1 GROUP BY a, null
UNION
SELECT null, b, SUM( c ) FROM tab1 GROUP BY null, b
UNION
SELECT null, null, SUM( c ) FROM tab1
##Cube and Rollup
Cube和 Rollup是对特殊GROUPING SETS的一种简写，在数据分析领域是常用的概念，hive中使用WITH CUBE/ROLLUP语句。
GROUP BY a, b, c WITH CUBE
等价于
GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c), (a), (b), (c), ( )).
GROUP BY a, b, c, WITH ROLLUP
等价于
GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (a), ( )).
##Grouping__ID
在上面的过程会有一个问题，若是group by的那些字段本身就存在null值，会造成我们的聚合结果无法分辨是那个group by产生的。因此hive中提供了GROUPING__ID来结果这个问题，这个方法返回一个比特串（显示时是十进制）对应我们在group by中的位置，使用这个Grouping__ID来标示不同group by的聚合结果。比如如下语句
SELECT a, b, SUM( c ) FROM tab1 GROUP BY a, b GROUPING SETS ( (a, b), a, b, ( ) )
（a,b）对应的 Grouping__ID是3（11）
a对应的 Grouping__ID是1（01）
b对应的 Grouping__ID是2(10)
( )对应的 Grouping__ID是0(00)
要注意到group by中的顺序，代表比特序列的从低位到高位，因此a，对应的不是10，而是01.一般在参与group by的字段很多时，自己计算十进制麻烦，使用conv(GROUPING__ID,10,2)=010111比较方便。
#参考文献
1.HIVE Enhanced Aggregation, Cube, Grouping and Rollup
2.HIVE GROUP BY