Spark从入门到精通27:Spark SQL:开窗函数实战

Spark 1.4.x版本以后,为Spark SQL和DataFrame引入了开窗函数,比如最经典,最常用的,row_number(),可以让我们实现分组取topn的逻辑。

案例:统计每个种类的销售额排名前3的产品
输入文件sales.txt,内容如下:


Thin�Cell Phone�6000
Normal�Tablet�1500
Mini�Tablet�5500
UltraThin�Cell Phone�5000
VeryThin�Cell Phone�6000
Big�Tablet�2500
Bedable�Cell Phone�3000
Foldable�Cell Phone�3500
Pro�Tablet�4500
Pro2�Tablet�6500

开始编写我们的统计逻辑,使用row_number()开窗函数,先说明一下,row_number()开窗函数的作用:
其实,就是给每个分组的数据,按照其排序顺序,打上一个分组内的行号,比如说,有一个分组date=20201001,里面有3条数据,1122,1121,1124,那么对这个分组的每一行使用row_number()开窗函数以后,三行,依次会获得一个组内的行号,行号从1开始递增,比如1122 1,1121 2,1124 3
代码实现:

package sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.hive.HiveContext;

public class RowNumberWindowFunction {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("RowNumberWindowFunction");
        JavaSparkContext sc = new JavaSparkContext(conf);
        HiveContext hiveContext = new HiveContext(sc.sc());
        // 创建销售额表,sales表
        hiveContext.sql("DROP TABLE IF EXISTS sales");
        hiveContext.sql("CREATE TABLE IF NOT EXISTS sales ("
                + "product STRING,"
                + "category STRING,"
                + "revenue BIGINT)");
        hiveContext.sql("LOAD DATA "
                + "LOCAL INPATH '/usr/local/spark-study/resources/sales.txt' "
                + "INTO TABLE sales");
        DataFrame top3SalesDF = hiveContext.sql(
                "SELECT product,category,revenue from("
                        + "SELECT "
                        + "product,"
                        + "category,"
                        + "revenue,"
                        + "row_number() OVER (PARTITION BY category ORDER BY revenue DESC) rank "
                        + "FROM sales "
                        + ") tmp_sales "
                        + "WHERE rank<=3");
        // 将每组排名前3的数据,保存到一个表中
        hiveContext.sql("DROP TABLE IF EXISTS top3_sales");
        top3SalesDF.saveAsTable("top3_sales");
        sc.close();
    }
}

在第29行的row_number()开窗函数的语法说明:
首先可以,在SELECT查询时,使用row_number()函数,其次,row_number()函数后面先跟上OVER关键字,然后括号中,是PARTITION BY,也就是说根据哪个字段进行分组,其次是可以用ORDER BY进行组内排序,然后row_number()就可以给每个组内的行,一个组内行号
代码编写完成,开始打jar包,发布到集群提交spark程序,编写如下脚本:


提交脚本,运行spark程序,运行完成,进入hive查看:



我们发现,原数据和统计后的数据都正常写入hive,至此,销售额排名前3的产品统计完成。

你可能感兴趣的:(Spark从入门到精通27:Spark SQL:开窗函数实战)