hiveSQL的执行顺序以及hive优化

前段时间在面试橙鹰数据的时候被问了一道SQL执行顺序的题目，之前虽然写过很多sql,但是没有从一个更高的视角来看自己写的代码，更不要提该如何优化了。随着数据量的增大，掌握sql的执行原理并进行优化是一项非常必要的技能。这篇文章会对一个sql语句的执行顺序进行总结，并进一步推导出可以优化的点。

因为工作时以hivesql为主，所以本文以hivesql进行讲解。
hive是基于Hadoop的Map Reduce
总体顺序：
from ..on .. join .. .. where .. select .. group by .. having .. order by

---

在map阶段

1. from 加载，进行表的查找和加载
2. where过滤
3. select查询
4. group by 执行分组后的相关计算
5. map端文件合并
   在Reduce阶段
   1.group by :对map端发来的文件进行合并
6. select : 过滤列用于输出结果
7. limit排序

---

知道了hive的执行顺序后，我们来看几条可以提升hive速度的方式。

原则一：分区一定要加。

原则二：连接表时使用相同的关键词，这样只会产生一个job。

原则三：减少每个阶段的数据量，只选出需要的，在join表前就进行过滤。在实习时，有时候为了减少代码量，包含了多余的字段，导致速度会变慢一些。

原则四：map端聚合。在上data mining的时候，写map reduce程序，有时候会在mapper和reducer之间加一个combinator,提前进行合并以减少通信成本。

hive.map.aggr=true; // 用于设定是否在 map 端进行聚合，默认值为真hive.groupby.mapaggr.checkinterval=100000; // 用于设定 map 端进行聚合操作的条目数

原则五：大表放后面。在执行多个表时，会先将前面的表放到缓存，因此最好将大表放到最后。

以上是我在实习时候使用的一些技巧，还有很多hive设置的技巧可以参考一下链接，等我亲自实践后再更新到上面。

http://daizj.iteye.com/blog/2289981