Spark开窗函数

1.概述

  1. 聚合函数是把很多行合并为一行.
  2. 而开窗函数是把一行分为多行.

有时候数据库返回的数据每一行好比一幢高楼的一层, 开窗函数就是在每一层开一扇窗, 让每一层能看到整装楼的全貌或一部分.

比如一张学生成绩表(transcript)有两列: [name] & [grade], 要求写一段查询能得到每行数据, 同时又增加一列显示平均分,就可以用到开窗函数:

select *,avg(grade) over() from transcript 

这里所有学生的平均分是要看到"整幢楼的全貌才能得到的", over 就是开了扇窗从而得到了这个结果

2.测试

建表

create table 学生表
(
  学生id int identity(1,1) not null,
  学号 int null,
  期中分数 int null,
  期末分数 int null
  );
insert into 学生表(学号,期中分数,期末分数)
values
(1,60,55),
(2,75,40),
(3,null,85),
(5,86,75),
(6,90,95),
(7,59,90);
这是快速建表及插入SQL语句的代码.

查询

Spark开窗函数_第1张图片

聚合函数的使用.
聚合函数是把多行聚集起来合成一行.
select AVG(期末分数) from 学生表;
我们把学生表中所有的期末分数进行了平均数统计.

你可能感兴趣的:(大数据-spark)