【hive】Hive中4种排序的区别

Hive中4种排序的区别

共有四种排序：order by，sort by ，distribute by，cluster by

order by
    全局排序；
    对输入的数据做排序，故此只有一个reducer(多个reducer无法保证全局有序)；
    只有一个reducer，会导致当输入规模较大时，需要较长的计算时间；
    
sort by
    非全局排序；
    在数据进入reducer前完成排序；
    当mapred.reduce.tasks>1时，只能保证每个reducer的输出有序，不保证全局有序；
    
distribute by
    按照指定的字段对数据进行划分输出到不同的reduce中；
    常和sort by一起使用，并且distribute by必须在sort by前面；
    
cluster by
    相当于distribute by+sort by，只能默认升序，不能使用倒序；