Hive窗口函数及分析函数功能和用法总结

窗口函数：

FIRST_VALUE

功能：返回分组内排序后，截止到当前行的第一个值。

这个函数最多需两个参数，第一个参数指定想要得到值的列，第二个参数是个布尔值（可选参数，默认为false），如果设置true，跳过null值。

用法示例：

select grid, dl_data, FIRST_VALUE(dl_data) over(partition by time_hour order by dl_data desc)
 first_dl_data from tps_g_day;

LAST_VALUE

功能：返回分组内排序后，截止到当前行的最后一个值。

这个函数最多需两个参数，第一个参数指定想要得到值的列，第二个参数是个布尔值（可选参数，默认为false），如果设置true，跳过null值。

用法示例：

select grid, dl_data, LAST_VALUE(dl_data) over(partition by time_hour order by dl_data desc)
 last_dl_data from tps_g_day;

LEAD

功能：用于取窗口内往下第n行值，以当前行为参照。

这个函数最多传入3个参数，第一个参数指定想要得到值的列，第二个参数（可选参数，默认为1）表示往下第几行，第三个参数（可选参数，默认为NULL）用于指定默认值。

用法：LEAD(column, n, Default)

select grid, dl_data, LEAD(dl_data, 1, 0) over(partition by time_hour order by dl_data desc)
 lead_1_dl_data from tps_g_day;

LAG

功能：用于取窗口内往上第n行值，以当前行为参照。

这个函数最多传入3个参数，第一个参数指定想要得到值的列，第二个参数（可选参数，默认为1）表示往上第几行，第三个参数（可选参数，默认为NULL）用于指定默认值。

用法：LAG(column, n, Default)

select grid, dl_data, LAG(dl_data, 1, 0) over(partition by time_hour order by dl_data desc) 
lag_1_dl_data from tps_g_day;

分析函数：
RANK

功能：用于给分组内排序的结果排名。

通常和窗口函数一起使用，不是RANK具有排名功能，而是对组内有序的记录进行编号，对于相同记录编号相同，但重复部分也占位。比如按分数排名，有两个人分数相同，并列第二，那下一个人就排名第四。

DENSE_RANK

功能：同RANK，但有一点区别。

区别在于，对于相同记录编号相同，但重复部分不占位。比如按分数排名，有两个人分数相同，并列第二，那下一个人就排名第三。

ROW_NUMBER

功能：用于给分组排序后组内的结果打上行号。

用法示例：

select grid, rank() over(partition by time_hour order by dl_data desc) rank,
dense_rank() over(partition by time_hour order by dl_data desc) dense_rank,
row_number() over(partition by time_hour order by dl_data desc) row_number
from tps_g_day;

CUME_DIST

功能：用于计算小于等于当前值的行数 / 分组内总行数。

用法示例：

select grid, dl_data, cume_dist() over(partition by time_hour order by dl_data desc)
 cume_dist from tps_g_day;

这个函数不常用，通常用于判断小于某个值在群体里边占的比例，通过这一比例能够比较清楚一个分界。

PERCENT_RANK

功能：用于计算 (当前值的排名-1) / (分组内的总记录-1)

用法示例：

select grid, dl_data, percent_rank() over(partition by time_hour order by dl_data desc) 
percent_rank from tps_g_day;

NTILE

功能：用于将组内的结果按照顺序切分成n份，返回当前记录所在切片值，比如将组内记录分成2份，某条记录划分到第二个切片，那NTILE对当前行的返回值即为2。

用法示例：

select grid, dl_data, ntile(5) over(partition by time_hour order by dl_data desc) tile_num 
from tps_g_day;

注意：OVER子句支持上述分析函数中罗列的函数，但不支持给这些函数加WINDOW子句。

OVER子句：

通过字面意思理解，OVER是在什么之上的意思。将其用在窗口函数上也就表示在子句查询结果的限定范围之上做其它操作。

OVER通常与标准的聚合函数（COUNT、SUM、MIN、MAX、AVG）、PARTITION BY、ORDER BY等语法、以及指定的窗口一起使用。

指定窗口支持的格式：

(ROWS | RANGE) BETWEEN (UNBOUNDED | [num]) PRECEDING AND ([num] PRECEDING | CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN CURRENT ROW AND (CURRENT ROW | (UNBOUNDED | [num]) FOLLOWING)
(ROWS | RANGE) BETWEEN [num] FOLLOWING AND (UNBOUNDED | [num]) FOLLOWING

ROWS和RANGE：均表示窗口范围限定对象
BETWEEN *** AND ***：标准语法，从哪里到哪里之间

再看BETWEEN AND语法中的具体限定词

• UNBOUNDED ：无限制
• PRECEDING：之前
• CURRENT ROW：当前行
• FOLLOWING：之后

UNBOUNDED PRECEDING 最前边第一条开始
num PRECEDING 往前数num条开始
UNBOUNDED FOLLOWING 一直到最后边一条
num FOLLOWING 往后数直到num条

示例：

select time_hour, dl_data, imsi, COUNT(DISTINCT imsi) OVER(PARTITION BY time_hour ORDER BY
 dl_data ROWS BETWEEN 100 PRECEDING AND 100 FOLLOWING) as imsi_count from tps_g_day;

其中count表示统计分组内当前ROW之前100 ROWS到之后100 ROWS之间记录的唯一imsi数。

当指定ORDER BY但没指定WINDOW 子句时，默认窗口为 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW ，也就是说窗口为从最开始，到当前行。

当既没有指定ORDER BY也没有指定WINDOW 子句时，默认窗口为 ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING，也就是说窗口包含分组内全部记录。

注意：OVER子句支持上述分析函数中罗列的函数，但不支持给这些函数加WINDOW子句。

HIVE版本与DISTINCT功能支持

distinct支持包括AVG、SUM、COUNT在内的聚合功能，即在分区内对distinct值进行聚合

2.1.0 ：由于性能原因，不支持对distinct值聚合时在分区语法中再指定ORDER BY或者是WINDOW子句。

select COUNT(DISTINCT imsi) OVER(PARTITION BY time_hour) as imsi_count from tps_g_day;

也就是说，在HIVE 2.1.0及之前，不支持distinct值聚合时指定ORDER BY或者是WINDOW子句。

2.2.0 ：已支持对distinct值聚合时在分区语法中再指定ORDER BY或者是WINDOW子句。

select time_hour, dl_data, COUNT(DISTINCT imsi) OVER(PARTITION BY time_hour 
ORDER BY dl_data ROWS BETWEEN 10 PRECEDING AND 10 FOLLOWING) as imsi_count from tps_g_day;

HIVE版本与OVER子句中聚合功能支持
HIVE 2.1.0 已经支持在OVER子句中增加聚合功能

select grid, rank() OVER(ORDER BY SUM(dl_data)) as dl_rank from tps_g_day GROUP BY grid;