hive 排序

1、全局排序(order by)

Order by:全局排序,只有一个reducer

ASC(ascend):升序(默认)

DESC(descend):降序

2、每个MR内部排序(sort by)

sort By:对于大规模的数据集order by的效率非常低。在很多情况下,并不需要全局排序,此时可以使用sort by

Sort By为每个Reducer产生一个排序文件。每个Reducer内部进行排序,对全局结果集来说不是排序。

(1)设置reduce个数

hive (default)> set mapreduce.job.reduces=3;

(2)根据部分编号降序查看员工信息

hive (default)> select * from emp sort by empno desc;
3、分区排序(Distribute By)

Distribute By:在某些情况下,我们需要控制某个特定行应该到哪个Reducer,通常是为了后续的聚集操作。

Distribute by类似MR中partition(自定义分区),进行分区,结合sort by使用

测试时要分配多个reduce进行处理,否则无法看到Distribute by的效果

 set mapreduce.job.reduces=3;

注意:

  • Distribute by的分区规则是根据分区字段的hashcode与reduce的个数进行取模后,余数相同的分到一个区
  • hive要求Distribute by语句要写在sort by语句之前
4、cluster by

当Distribute by 和sort by 字段相同时,可以使用cluster by 方式

cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序,不能指定排序规则为ASC或者DESC。

1)以下两种写法等价

hive (default)> select * from emp cluster by deptno;

hive (default)> select * from emp distribute by deptno sort by deptno;

你可能感兴趣的:(hive 排序)