hive中order by详解

order by的使用及讲解

1. order by的使用

大家都清楚在hive中order by是用来排序的,使用语法如下

SELECT * FROM tab_name ORDER BY column_name;

在使用order by的时候默认是按照升序进行排序的(ASC),字符串类型就是按照字典顺序进行排序的,数值类型就是按照数值的大小进行排序的具体列子如下:
表中数据:

goods gtype price
口香糖 食品 10
薯片 食品 20
巧克力 食品 30
蛋糕 食品 40
薯条 食品 50
饼干 食品 60
面包 食品 70
月饼 食品 80
方便面 食品 90
洗衣粉 日用品 11
洗衣液 日用品 21
洗洁精 日用品 31
拖布 日用品 41
毛巾 日用品 51
卫生纸 日用品 61
水杯 日用品 71
水壶 日用品 81
椅子 日用品 91
电视 电器 12
电脑 电器 22
冰箱 电器 32
冰柜 电器 42
洗衣机 电器 52
小太阳 电器 62
电暖器 电器 72
电磁炉 电器 82
空调 电器 92
热水器 电器 102

表中字段price是int类型,其余都是string类型的
使用如下sql进行查询

select * from t_test order by price desc;

查询结果:

goods gtype price
热水器 电器 102
空调 电器 92
椅子 日用品 91
方便面 食品 90
电磁炉 电器 82
水壶 日用品 81
月饼 食品 80
电暖器 电器 72
水杯 日用品 71
面包 食品 70
小太阳 电器 62
卫生纸 日用品 61
饼干 食品 60
洗衣机 电器 52
毛巾 日用品 51
薯条 食品 50
冰柜 电器 42
拖布 日用品 41
蛋糕 食品 40
冰箱 电器 32
洗洁精 日用品 31
巧克力 食品 30
电脑 电器 22
洗衣液 日用品 21
薯片 食品 20
电视 电器 12
洗衣粉 日用品 11
口香糖 食品 10

这里我使用的倒序(desc)进行排序的,可以看到表中数据是以字段price进行倒序排序的,通常我们使用order by的时候都是但字段进行排序的,但是有的时候也会使用到多字段进行排序,在使用多字段排序的时候,我们需要在order by后的每个字段后面都注明排序方式,具体语法如下

SELECT * FROM tab_name ORDER BY column_1 desc,column_2,desc,column_3....

需要进行倒序排序的时候要在字段后面添加desc,不添加默认是asc排序,多字段的排序规则是先将第一个出现的字段按照正序或者倒序进行排序,在排序好之后,在第一个字段值相同的情况下第二个字段在以正序 或者倒序的方式的进行排序,可以理解位以第一个字段值做分组再以第二个字段进行排序,查询sql如下

select
 goods,
 case gtype
 when '食品'
 then concat("7_",gtype)
 when '日用品'
 then concat("3_",gtype)
 when '电器'
 then concat("5_",gtype)
 end gtype
 ,
 price
from t_test
order by gtype,price desc;

结果如下:

goods gtype price
椅子 3_日用品 91
水壶 3_日用品 81
水杯 3_日用品 71
卫生纸 3_日用品 61
毛巾 3_日用品 51
拖布 3_日用品 41
洗洁精 3_日用品 31
洗衣液 3_日用品 21
洗衣粉 3_日用品 11
热水器 5_电器 102
空调 5_电器 92
电磁炉 5_电器 82
电暖器 5_电器 72
小太阳 5_电器 62
洗衣机 5_电器 52
冰柜 5_电器 42
冰箱 5_电器 32
电脑 5_电器 22
电视 5_电器 12
方便面 7_食品 90
月饼 7_食品 80
面包 7_食品 70
饼干 7_食品 60
薯条 7_食品 50
蛋糕 7_食品 40
巧克力 7_食品 30
薯片 7_食品 20
口香糖 7_食品 10

因为gtype数据值都是汉字的,用来排序效果不容易看出来,所以都加了数字前缀,从结果可以看出来gtype是按照字典顺序的正序排序的,price字段是按照数值类型进行倒序排序的,通过这个例子就可以很直观看出来order by的排序规则。

2. order by在hive中的执行机制

order by是进行全局的排序,所以最终数据都会集中在一个reduce中,因为如果分散在多个reduce中就无法保证是全局排序,并且在hive使用order by的时候会受到如下属性的约束:

set hive.mapred.mode=nonstrict;
set hive.mapred.mode=strict;

默认是在nonstrict模式下的,如果在strict模式下使用order by的话必须使用limit关键字,因为如果数据量过大的话,执行的时间会非常长。
通过如下列子看一下:
首先设置位strict模式

set hive.mapred.mode=strict;

然后执行如下sql

 select * from t_test order by price;

结果如下

FAILED: SemanticException 1:30 Order by-s without limit are disabled for safety reasons. If you know what you are doing, 
please sethive.strict.checks.large.query to false and that hive.mapred.mode is not set to 'strict' to proceed. 
Note that if you may get errors or incorrect results if you make a mistake while using some of the unsafe features.. 
Error encountered near token 'price'
Error: Error while compiling statement: FAILED: SemanticException 1:30 Order by-s without limit are disabled for safety reasons. 
If you know what you are doing, please sethive.strict.checks.large.query to false and that hive.mapred.mode is not set to 'strict' to proceed. 
Note that if you may get errors or incorrect results if you make a mistake while using some of the unsafe features.. Error encountered near token 'price' (state=42000,code=40000)

第一行就出现了“Order by-s without limit”,可以看到设置为strict模式后,不加limit是无法执行order by语句的
加上limit关键字,sql如下

select * from t_test order by price limit 7;

结果如下:

goods gtype price
口香糖 食品 10
洗衣粉 日用品 11
电视 电器 12
薯片 食品 20
洗衣液 日用品 21
电脑 电器 22
巧克力 食品 30

你可能感兴趣的:(HIVE,hive,hdfs,mapreduce)