sparksql：去重row_number，生成排序序号 ：RANK, DENSE_RANK, ROW_NUMBER的区别

https://blog.csdn.net/qq_39869388/article/details/80422472

去重：

select date,phone from (select *,row_number() over (partition by phone order by date) num from tmp_table1) t where t.num=1

第一步：select *,row_number() over (partition by phone order by date) num from tmp_table1 

按照phone 去重，date排序

第二步：num=1 

就是留下num=1 的数据，起到去重

 

生成排序：

场景是需要基于xx字段排序，生成序列号，也用row_number

select *,row_number() over (order by date) num from tmp_table1 

https://blog.csdn.net/weixin_42379136/article/details/86675049

RANK， DENSE_RANK， ROW_NUMBER都是把表中的行按分区内的排序标上序号，但有一点差别：

RANK：可以生成不连续的序号，比如按分数排序，第一第二都是100分，第三名98分，那第一第二就会显示序号1，第三名显示序号3。

DENSE_RANK： 生成连续的序号，在上一例子中，第一第二并列显示序号1，第三名会显示序号2。

ROW_NUMBER: 顾名思义就是行的数值，在上一例子中，第一第二第三将会显示序号为1,2,3。

 

下面的例子帮助理解，按年级分组，分数降序排列，分别新建列RANK, DENSE_RANK, ROW_NUMBER:
考试成绩排名
姓名    年级    分数    RANK    DENSE_RANK    ROW_NUMBER
张三    一年级    100    1    1    1
李四    一年级    100    1    1    2
王五    一年级    98    3    2    3
小明    二年级    100    1    1    1
小芳    二年级    95    2    2    2
小民    二年级    90    3    3    3
 

sparkSession.sql("SELECT * , " +
      "RANK() OVER (PARTITION BY grade ORDER BY score DESC) AS rank, " +
      "DENSE_RANK() OVER (PARTITION BY grade ORDER BY score DESC) AS dense_rank, " +
      "ROW_NUMBER() OVER (PARTITION BY grade ORDER BY score DESC) AS row_number " +
      "FROM ScoreDetail").show()