hive窗口函数记录
记录工作中和学习中的窗口函数，方便以后使用，本记持续更新和完善，版本：231019
文章目录
-
- 1.什么是窗口函数
- 2.窗口函数的表达式
- 3.窗口函数的类型
-
- 1） 排名函数
- 2） 聚合函数
- 3） 跨行取值函数
- 4.[frame]滑动窗口
-
- 1）窗口选择的两种模式：
- 2）滑动模式的两种表达式
1.什么是窗口函数
窗口函数，能为每行数据划分一个窗口，然后对窗口范围内的数据进行计算， 最后将计算结果返回给该行 数据 。
使用场景：在一条数据中既想要展示明细，又想要体现一部分数据整体的效果，就可以使用窗口函数。这也是它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。
如下图式例：既想要展示sc表每个sid学生的成绩，又想要展示展示每个学生在整个年级的排名情况，rw即为窗口所展示的数据
SELECT *,row_number() over( ORDER BY score desc ) as rw FROM sc
2.窗口函数的表达式
function(args) over([partition by expression] [order by [asc|desc]] [frame])
表达式解析：
function：<窗口函数名>
over ：”关键字 用于指定窗口的范围
(partition by： <用于分组的列名> order by <用于排序的列名>）
asc|desc：升序和降序，不写默认是升序
frame：计算行数的范围（详细请看下面第四点：[frame]滑动窗口）
3.窗口函数的类型
1） 排名函数
row_number()、 rank()、dense_rank()
| row_number() | 排序相同时不会重复，会根据顺序排序 即 1,2,3 |
|---|---|
| rank() | 排序相同时会重复，同一排名有几个，后面排名就会跳过几次，即 1,1,3 |
| dense_rank() | 排序相同时会重复，排名相同的名次一样，且后面名次不跳跃，即1,1,2 |
示例：
select *,
row_number() over(partition by cid order by score desc) rw,
rank() over(partition by cid order by score desc) rk,
dense_rank() over(partition by cid order by score desc) dense_rk
from sc
where cid = 01
2） 聚合函数
max()、 min()、sum()、avg()、count()
| max () | 最大值 |
|---|---|
| min () | 最小值 |
| sum () | 求和 |
| avg() | 求平均值 |
| count() | 计数 |
3） 跨行取值函数
lead()、lag()
语法：
| lead(expression,n) | 获取当前行的下边n行 、n个字段的值 |
|---|---|
| lag(expression,n) | 获取当前行的上边n行 、n个字段的值 |
expression：行数命
n:代表便宜量，想要偏移的行数
实例如下：
select * from active
select
uid,
dt,
lag(dt,1) over(PARTITION by uid ORDER BY dt) lg,
lead(dt,1) over(PARTITION by uid ORDER BY dt) ld
from active
使用范围：可以对数据进行同步和环比，针对
4.[frame]滑动窗口
function(args) over([partition by expression] [order by [asc|desc]] [frame])
1）窗口选择的两种模式：
| rows模式 | 按物理行进行划分 |
|---|---|
| range模式 | 按数据模式进行划分 |
2）滑动模式的两种表达式
{range|row}frame_start ： 从自定行开始到当前行结束
{range|row}between frame_start and frame_end： 指定开始行和结束行
滑动行范围的常用表达式：
| 表达式 | 解析 |
|---|---|
| unbounded preceding | 从开始行 |
| expression preceding | 从当前行往前推 n 行 （expression 写为整数） |
| current row | 当前行 |
| expression following | 从当前行往后推n行 （expression 写为整数） |
| unbounded following | 到结束行 |
示例：通过改变row参数，改变窗口的大小
图一：
select * from sc
图二：窗口默认当前行之前的所有行
select
sid,
cid,
sum(score) over(partition by sid)
from sc
图三：使用row使窗口变成当前行的前一行到当前行，窗口只有两行，得出图三的效果
select
sid,
cid,
sum(score) over(partition by sid rows 1 preceding)
from sc
#当order by 后面缺少窗口从句条件，窗口规范默认是 从当前行到当前行以上的所有行
rows between unbounded preceding and current
#当order by 和 窗口从句条件都缺失，窗口范围默认 当前行上面所有行以及下面的所有行
rows between unbounded preceding and unbounded following