Spark分组取TopN
前言
说到分组，我们很快就想到group by，但是如果在分组的基础上进行取TopN，我们很快又想到开窗函数，group by一般和聚合函数搭配使用，那么聚合函数和开窗函数有啥区别呢？
普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。
开窗函数一般分为两类,聚合开窗函数和排序开窗函数。
接下来通过几个简单的案例来看使用Spark如何求分组取TopN的需求
案例一（没有聚合函数取TopN）
- 准备数据
//company app visit_times
腾讯,腾讯视频,800
腾讯,QQ音乐,900
腾讯,微信读书,100
腾讯,微信,900
腾讯,腾讯课堂,200
阿里,支付宝,900
阿里,优酷视频,700
阿里,虾米音乐,500
阿里,飞猪,700
阿里,钉钉,600
百度,百度App,700
百度,百度地图,800
百度,爱奇艺,800
百度,百度钱包,100
百度,百度贴吧,200
- 程序入口SparkSession和加载数据代码这里不再描述：
val spark = SparkSession
.builder()
.appName(this.getClass.getSimpleName)
.master(master = "local[*]")
.getOrCreate()
import spark.implicits._
val df = spark.read.textFile("./data/app")
.map(_.split(","))
.map(x => (x(0), x(1), x(2)))
.toDF("company", "app", "vst_times")
.cache()
- 需求：取出BAT三大公司访问量Top2的app
df.createTempView(viewName = "view1")
import spark.sql
sql(sqlText = "select company,app,vst_times from " +
"(select company,app,vst_times,row_number() " +
"over(partition by company order by vst_times desc) " +
"as rn from view1) as t where t.rn <= 2")
.show()
这里使用的是Hive的row_number()函数，语法格式：
row_number() over (partition by COL1 order by COL2 desc ) rank
结果：
+-------+--------+---------+
|company| app|vst_times|
+-------+--------+---------+
| 腾讯| QQ音乐| 900|
| 腾讯| 微信| 900|
| 百度|百度地图| 800|
| 百度| 爱奇艺| 800|
| 阿里| 支付宝| 900|
| 阿里|优酷视频| 700|
+-------+--------+---------+
案例二（需要先做聚合后取TopN）
- 准备数据
腾讯,微信,500
腾讯,微信,800
腾讯,微信,1000
腾讯,微信,600
腾讯,腾讯视频,800
腾讯,腾讯视频,300
腾讯,腾讯视频,700
腾讯,腾讯视频,700
腾讯,QQ音乐,900
腾讯,QQ音乐,500
腾讯,QQ音乐,900
腾讯,QQ音乐,600
腾讯,微信读书,100
腾讯,微信读书,200
腾讯,微信读书,300
腾讯,微信读书,100
腾讯,腾讯课堂,100
腾讯,腾讯课堂,200
腾讯,腾讯课堂,300
腾讯,腾讯课堂,100
- 需求：统计出腾讯系总访问次数前三的app
import org.apache.spark.sql.functions._
df.select("company", "app", "vst_times")
.groupBy("company", "app")
.agg(sum($"vst_times").alias("s_vst"))
.sort($"s_vst".desc)
.limit(3)
.show()
结果：
+-------+--------+------+
|company| app| s_vst|
+-------+--------+------+
| 腾讯| QQ音乐|2900.0|
| 腾讯| 微信|2900.0|
| 腾讯|腾讯视频|2500.0|
+-------+--------+------+