hive中的order by+sort by+distribute by+cluster by

order by 

 它会对输出数据做全局排序,因此在order by 过程中会将所有数据放入一个reduce(如果是多个reduce的话则不能保证order by 后数据是有序的),当数据量大时,一个reduce的处理压力就成了问题。

当 set hive.mapred.mode=nonstrict (默认值)时,hive会正常处理order by 。

当 set hive.mapred.mode=strict 时,则在使用order by 时需加上 limit 进行输出限制,否则会报错。

所以在使用order by 的时候,最好是加上limit进行输入结果限制,这是个好习惯,同时也可以减少一个reduce的输出压力。

支持: asc/desc

注意:当 set hive.mapred.mode=strict后,会影响到以下的查询:1,查询分区表必须指定相应分区否则会报错;2,执行笛卡尔积会报错。

sort by 

会对输出结果局部排序,其在数据进入reducer前完成排序。

因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。
sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响
sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。
使用sort by 你可以指定执行的reduce 个数 (set mapred.reduce.tasks=),对输出的数据再执行归并排序,即可以得到全部结果。

支持:asc/desc
注意:可以用limit子句大大减少数据量。使用limit n后,传输到reduce端(单机)的数据记录数就减少到n* (map个数)。否则由于数据过大可能出不了结果。

distribute by 

会按指定的字段,将数据划分到不同的reduce。也就是相当于mapreduce过程中的partition。

select classid,name from users distribute by classid ; 会将相同的classid划分到同一个reduce中,同一个reduce可以有多个不同classid的值。

注意:可以用distribute by + sort by 取代order by (但是无法全局排序),这也是一种优化手段。

cluster by

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。 
但是排序只能是倒序排序,不能指定排序规则为asc 或者desc。

你可能感兴趣的:(hive)