扫地增

hive sql——窗口函数使用实战小结

文章目录

- 一、什么是窗口函数
- 二、窗口函数介绍
- 三、窗口函数基本语法
- 四、理解Window子句
- - 1. 理解下什么是`WINDOW`子句（灵活控制窗口的子集）
  - 2. 官网有一段话列出了如下窗口函数是不支持window子句的：
- Hive窗口函数实例：
- - 聚合函数
  - - 实例表准备：
    - 数据准备
    - - SUM()
      - COUNT()
      - MAX()
      - MIN()
      - AVG()
  - 排序函数
  - - 实例表准备
    - - 数据准备
      - NTILE()
      - ROW_NUMBER()\RANK()\DENSE_RANK()
  - 比例函数
  - - CUME_DIST（）
    - PERCENT_RANK()
  - 取值函数
  - - LAG
    - LEAD（）
    - FIRST_VALUE（）、LAST_VALUE()
  - 增强GROUP
  - - GROUPING SETS
    - CUBE
    - ROLLUP

hive推出的窗口函数功能是对hive sql的功能增强，确实目前用于离线数据分析逻辑日趋复杂，很多场景都需要用到。用于实现分组内所有和连续累积的统计。

一、什么是窗口函数

1、窗口函数指定了函数工作的数据窗口大小(当前行的上下多少行)，这个数据窗口大小可能会随着行的变化而变化。
2、窗口函数对于每个组返回多行，组内每一行对应返回一行值。

二、窗口函数介绍

(一)、聚合函数：
	1.sum(col) over() :  分组对col累计求和，over() 中的语法如下
	2.count(col) over() : 分组对col累计，over() 中的语法如下
	3.min(col) over() : 分组对col求最小
	4.max(col) over() : 分组求col的最大值
	5.avg(col) over() : 分组求col列的平均值

(二)、取值函数：
	1.first_value(col) over() : 某分区排序后的第一个col值
	2.last_value(col) over() : 某分区排序后的最后一个col值
	3.lag(col,n,DEFAULT) : 统计往前n行的col值，n可选，默认为1，DEFAULT当往上第n行为NULL时候，取默认值，如不指定，则为NULL
	4.lead(col,n,DEFAULT) : 统计往后n行的col值，n可选，默认为1，DEFAULT当往下第n行为NULL时候，取默认值，如不指定，则为NULL

(三)、排序函数：
	1.row_number() over() : 排名函数，不会重复，适合于生成主键或者不并列排名
	2.rank() over() :  排名函数，有并列名次，名次不连续。如:1,1,3
	3.dense_rank() over() : 排名函数，有并列名次，名次连续。如：1，1，
	4.ntile(n) : 用于将分组数据按照顺序切分成n片，返回当前切片值。注意：n必须为int类型。

(四)、比例函数：
	1.cume_dist() 小于等于当前值的行数/分组内总行数比如，统计小于等于当前薪水的人数，所占总人数的比例
	2.percent_rank() 计算给定行的百分比排名。分组内当前行的RANK值-1/分组内总行数-1，可以用来计算超过了百分之多少的人。
	
(五)、增强GROUP BY
    1.GROUPING SETS
    2.GROUPING__ID
    3.CUBE
    4.ROLLUP

三、窗口函数基本语法

<窗口函数>()
OVER
(
	[PARTITION BY <COLUMN 1 , COLUMN 2,COLUMN 3 ...>]
	[ORDER BY <排序用的清单列>][ASC/DESC]
	(ROWS | RANGE) <范围条件>
)

窗口函数的语法分为四个部分：

函数子句：指明具体操作，如sum-求和，first_value-取第一个值；

partition by子句：指明分区字段，如果没有，则将所有数据作为一个分区；

order by子句：指明了每个分区排序的字段和方式,也是可选的，没有就是按照表中的顺序；

窗口子句：指明相对当前记录的计算范围，可以向上（preceding），可以向下（following）,也可以使用between指明，上下边界的值，没有的话默认为当前分区。ROWS BETWEEN，也叫做window子句。数字+PRECEDING 向前n条，数字+FOLLOWING 向后n条， CURRENT ROW 当前行，UNBOUNDED 无边界。 ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING表示从最前面的起点开始，表示到最后面的终点,UNBOUNDED PRECEDING 向前无边界，UNBOUNDED FOLLOWING向后无边界。

四、理解Window子句

1. 理解下什么是`WINDOW`子句（灵活控制窗口的子集）

PRECEDING：往前

FOLLOWING：往后

CURRENT ROW：当前行

UNBOUNDED：无边界（一般结合PRECEDING，FOLLOWING使用）

UNBOUNDED PRECEDING:表示该窗口最前面的行（起点）

UNBOUNDED FOLLOWING：表示该窗口最后面的行（终点）

比如说：

ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW（表示从起点到当前行）

ROWS BETWEEN 2 PRECEDING AND 1 FOLLOWING（表示往前2行到往后1行）

ROWS BETWEEN 2 PRECEDING AND 1 CURRENT ROW（表示往前2行到当前行）

ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING（表示当前行到终点）

2. 官网有一段话列出了如下窗口函数是不支持window子句的：

rank(): 排名函数，有并列名次，名次不连续。如:1,1,3。

ntile(n): 用于将分组数据按照顺序切分成n片，返回当前切片值。注意：n必须为int类型。

dense_rank() over(): 排名函数，有并列名次，名次连续。如：1，1。

cume_dist():小于等于当前值的行数/分组内总行数比如，统计小于等于当前薪水的人数，所占总人数的比例。

percent_rank(): 计算给定行的百分比排名。分组内当前行的RANK值-1/分组内总行数-1，可以用来计算超过了百分之多少的人。

Hive窗口函数实例：

聚合函数

实例表准备：

CREATE EXTERNAL TABLE test.student_score (
`student_id` string,
`date_key` string,
`school_id` string,
`grade` string,
`class` string,
`score` string
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
stored as textfile 
location '/tmp/test/student_score/';

数据准备

10001,2021-05-20,1001,初一,1,11
10002,2021-05-21,1001,初二,2,55
10003,2021-05-23,1001,初三,1,77
10004,2021-05-24,1001,初一,3,33
10005,2021-05-25,1001,初一,1,22
10006,2021-05-26,1001,初三,2,99
10007,2021-05-27,1001,初二,2,99

SUM()

SUM — 注意,结果和ORDER BY相关,默认为升序

测试代码：

select 
    school_id,
    student_id,
    score,
    -- 默认为从起点到当前行
    SUM(score) OVER(PARTITION BY school_id ORDER BY student_id) AS scores1, 
    --从起点到当前行，结果同pv1 
    SUM(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS scores2, 
    --分组内所有行
    SUM(score) OVER(PARTITION BY school_id) AS scores3,
     --当前行+往前3行                             
    SUM(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS scores4,  
    --当前行+往前3行+往后1行
    SUM(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS scores5,   
    --当前行+往后所有行  
    SUM(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS scores6    
from test.student_score;

结果：

school_id	student_id	score	scores1	scores2	scores3	scores4	scores5	scores6
1001	10001	11	11.0	11.0	396.0	11.0	66.0	396.0
1001	10002	55	66.0	66.0	396.0	66.0	143.0	385.0
1001	10003	77	143.0	143.0	396.0	143.0	176.0	330.0
1001	10004	33	176.0	176.0	396.0	176.0	198.0	253.0
1001	10005	22	198.0	198.0	396.0	187.0	286.0	220.0
1001	10006	99	297.0	297.0	396.0	231.0	330.0	198.0
1001	10007	99	396.0	396.0	396.0	253.0	253.0	99.0

如果不指定ROWS BETWEEN,默认为从起点到当前行;
如果不指定ORDER BY，则将分组内所有值累加;

COUNT()

在Window子句上与sum()的理解不同,结果和ORDER BY相关,默认为升序

测试代码：

select 
    school_id,
    grade,
    class,
     -- 默认为从起点到当前行,明细数据会按照排序主键排序来一行加一行,如果排序主键有多行数据一样，也就是多行数据顺序一致，则会一起被加上。
    COUNT(student_id) OVER(PARTITION BY grade ORDER BY class) AS sv1,
    --从起点到当前行，在分组内，按照排序建顺序，来一行加一行，就算是排序主键一样也会一次加，不会一起被加。
    COUNT(student_id) OVER(PARTITION BY grade ORDER BY class ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS sv2, 
    --分组内所有行
    COUNT(student_id) OVER(PARTITION BY grade) AS sv3, 
    --当前行+往前3行，规则同sv2
    COUNT(student_id) OVER(PARTITION BY grade ORDER BY class ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS sv4,  
     --当前行+往前3行+往后1行,规则同sv2 
    COUNT(student_id) OVER(PARTITION BY grade ORDER BY class ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS sv5,   
     ---当前行+往后所有行,规则同sv2
    COUNT(student_id) OVER(PARTITION BY grade ORDER BY class ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS sv6  
from test.student_score;

注意：窗口函数不支持COUNT(DISTINCT xxx)操作，这种情况可以利用子查询先对数据进行去重之后再进行统计，可以参见我的文章：HIVE如何实现如何实现 COUNT(DISTINCT ) OVER (PARTITION BY )？

结果：

school_id	grade	class	sv1	sv2	sv3	sv4	sv5	sv6
1001	初二	2	2	1	2	1	2	2
1001	初二	2	2	2	2	2	2	1
1001	初一	1	2	1	3	1	2	3
1001	初一	1	2	2	3	2	3	2
1001	初一	3	3	3	3	3	3	1
1001	初三	1	1	1	2	1	2	2
1001	初三	2	2	2	2	2	2	1

MAX()

在Window子句上与sum()的理解相同，结果和ORDER BY相关,默认为升序。

代码测试：

select 
    school_id,
    student_id,
    score,
    -- 默认为从起点到当前行
    MAX(score) OVER(PARTITION BY school_id ORDER BY student_id) AS mas1, 
    --从起点到当前行，结果同pv1 
    MAX(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS mas2, 
    --分组内所有行
    MAX(score) OVER(PARTITION BY school_id) AS mas3,
     --当前行+往前3行                             
    MAX(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS mas4,  
    --当前行+往前3行+往后1行
    MAX(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS mas5,   
    --当前行+往后所有行  
    MAX(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS mas6    
from test.student_score;

结果：

school_id	student_id	score	mas1	mas2	mas3	mas4	mas5	mas6
1001	10001	11	11	11	99	11	55	99
1001	10002	55	55	55	99	55	77	99
1001	10003	77	77	77	99	77	77	99
1001	10004	33	77	77	99	77	77	99
1001	10005	22	77	77	99	77	99	99
1001	10006	99	99	99	99	99	99	99
1001	10007	99	99	99	99	99	99	99

MIN()

在Window子句上与sum()的理解相同，结果和ORDER BY相关,默认为升序

代码测试：

select 
    school_id,
    student_id,
    score,
    -- 默认为从起点到当前行
    MIN(score) OVER(PARTITION BY school_id ORDER BY student_id) AS mis1, 
    --从起点到当前行，结果同pv1 
    MIN(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS mis2, 
    --分组内所有行
    MIN(score) OVER(PARTITION BY school_id) AS mis3,
     --当前行+往前3行                             
    MIN(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS mis4,  
    --当前行+往前3行+往后1行
    MIN(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS mis5,   
    --当前行+往后所有行  
    MIN(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS mis6    
from test.student_score;

结果：

school_id	student_id	score	mis1	mis2	mis3	mis4	mis5	mis6
1001	10001	11	11	11	11	11	11	11
1001	10002	55	11	11	11	11	11	22
1001	10003	77	11	11	11	11	11	22
1001	10004	33	11	11	11	11	11	22
1001	10005	22	11	11	11	22	22	22
1001	10006	99	11	11	11	22	22	99
1001	10007	99	11	11	11	22	22	99

AVG()

在Window子句上与sum()的理解相同，结果和ORDER BY相关,默认为升序

测试代码：

select 
    school_id,
    student_id,
    score,
    -- 默认为从起点到当前行
    AVG(score) OVER(PARTITION BY school_id ORDER BY student_id) AS as1, 
    --从起点到当前行，结果同pv1 
    AVG(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS as2, 
    --分组内所有行
    AVG(score) OVER(PARTITION BY school_id) AS as3,
     --当前行+往前3行                             
    AVG(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS as4,  
    --当前行+往前3行+往后1行
    AVG(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS as5,   
    --当前行+往后所有行  
    AVG(score) OVER(PARTITION BY school_id ORDER BY student_id ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS as6    
from test.student_score;

结果：

school_id	student_id	score	mis1	mis2	mis3	mis4	mis5	mis6
1001	10001	11	11.0	11.0	56.57142857142857	11.0	33.0	56.57142857142857
1001	10002	55	33.0	33.0	56.57142857142857	33.0	47.666666666666664	64.16666666666667
1001	10003	77	47.666666666666664	47.666666666666664	56.57142857142857	47.666666666666664	44.0	66.0
1001	10004	33	44.0	44.0	56.57142857142857	44.0	39.6	63.25
1001	10005	22	39.6	39.6	56.57142857142857	46.75	57.2	73.33333333333333
1001	10006	99	49.5	49.5	56.57142857142857	57.75	66.0	99.0
1001	10007	99	56.57142857142857	56.57142857142857	56.57142857142857	63.25	63.25	99.0

排序函数

实例表准备

CREATE EXTERNAL TABLE test.student_score(
    `student_id` STRING, 
    `date_key` STRING, 
    `school_id` STRING, 
    `grade` STRING, 
    `class` STRING, 
    `score` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS textfile
LOCATION '/tmp/test/student_score';

数据准备

10001,2021-05-20,1001,初一,1,11
10002,2021-05-21,1001,初二,2,55
10003,2021-05-23,1001,初三,1,77
10004,2021-05-24,1001,初一,3,33
10005,2021-05-25,1001,初一,1,22
10006,2021-05-26,1001,初三,2,99
10007,2021-05-27,1001,初二,2,99
10001,2021-05-20,1001,初一,1,22
10002,2021-05-21,1001,初二,2,66
10003,2021-05-23,1001,初三,1,88
10004,2021-05-24,1001,初一,3,44
10005,2021-05-25,1001,初一,1,33
10006,2021-05-26,1001,初三,2,33
10007,2021-05-27,1001,初二,2,11

NTILE()

NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值
NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY school_id ORDER BY date_key ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)。如果切片不均匀，默认增加第一个切片的分布

SELECT 
    school_id,
    student_id,
    score,
    --分组内将数据分成2片
    NTILE(2) OVER(PARTITION BY school_id ORDER BY student_id) AS rn1,
    --分组内将数据分成3片
    NTILE(3) OVER(PARTITION BY school_id ORDER BY student_id) AS rn2,
    --将所有数据分成4片
    NTILE(4) OVER(ORDER BY school_id) AS rn3
FROM test.student_score;

结果：

school_id	student_id	score	rn1	rn2	rn3
1001	10001	11	1	1	1
1001	10002	55	1	1	1
1001	10003	77	1	1	1
1001	10004	33	1	2	1
1001	10005	22	2	2	2
1001	10006	99	2	3	2
1001	10007	99	2	3	2
1002	10001	22	1	1	2
1002	10002	66	1	1	3
1002	10003	88	1	1	3
1002	10004	44	1	2	3
1002	10005	33	2	2	4
1002	10006	33	2	3	4
1002	10007	11	2	3	4

统计不同学校school，成绩最高的前1/3的学生：

--rn1 = 1 的记录，就是我们想要的结果
SELECT 
school_id,
student_id,
score,
NTILE(3) OVER(PARTITION BY school_id ORDER BY student_id DESC) AS rn1
FROM test.student_score;

结果：

school_id	student_id	score	rn1
1002	10007	11	1
1002	10006	33	1
1002	10005	33	1
1002	10004	44	2
1002	10003	88	2
1002	10002	66	3
1002	10001	22	3
1001	10007	99	1
1001	10006	99	1
1001	10005	22	1
1001	10004	33	2
1001	10003	77	2
1001	10002	55	3
1001	10001	11	3

ROW_NUMBER()\RANK()\DENSE_RANK()

SELECT
    school_id,
    student_id,
    score,
    ROW_NUMBER() OVER(PARTITION BY school_id ORDER BY score) AS rank1,
    RANK() OVER(PARTITION BY school_id ORDER BY score) AS rank2,
    DENSE_RANK() OVER(PARTITION BY school_id ORDER BY score) AS rank3
FROM test.student_score
ORDER BY school_id,score;

结果：

school_id	student_id	score	rank1	rank2	rank3
1001	10001	11	1	1	1
1001	10005	22	2	2	2
1001	10004	33	3	3	3
1001	10002	55	4	4	4
1001	10003	77	5	5	5
1001	10006	99	6	6	6
1001	10007	99	7	6	6
1002	10007	11	1	1	1
1002	10001	22	2	2	2
1002	10005	33	3	3	3
1002	10006	33	4	3	3
1002	10004	44	5	5	4
1002	10002	66	6	6	5
1002	10003	88	7	7	6

比例函数

CUME_DIST（）

CUME_DIST 小于等于当前值的行数占分组内总行数的比例。

--–比如，统计小于等于当前成绩的人数，所占总人数的比例
SELECT 
    school_id,
    student_id,
    score,
    CUME_DIST() OVER(ORDER BY score) AS rn1,
    CUME_DIST() OVER(PARTITION BY school_id ORDER BY score) AS rn2 
FROM test.student_score;

结果：

school_id	student_id	score	rn1	rn2
1001	10001	11	0.14285714285714285	0.14285714285714285
1001	10005	22	0.2857142857142857	0.2857142857142857
1001	10004	33	0.5	0.42857142857142855
1001	10002	55	0.6428571428571429	0.5714285714285714
1001	10003	77	0.7857142857142857	0.7142857142857143
1001	10006	99	1.0	1.0
1001	10007	99	1.0	1.0
1002	10007	11	0.14285714285714285	0.14285714285714285
1002	10001	22	0.2857142857142857	0.2857142857142857
1002	10005	33	0.5	0.5714285714285714
1002	10006	33	0.5	0.5714285714285714
1002	10004	44	0.5714285714285714	0.7142857142857143
1002	10002	66	0.7142857142857143	0.8571428571428571
1002	10003	88	0.8571428571428571	1.0

PERCENT_RANK()

PERCENT_RANK 分组内当前行的RANK值-1/分组内总行数-1

SELECT 
    school_id,
    student_id,
    score,
    PERCENT_RANK() OVER(ORDER BY score) AS rn1,   --分组内
    RANK() OVER(ORDER BY score) AS rank1,          --分组内RANK值
    SUM(1) OVER(PARTITION BY NULL) AS sum1,     --分组内总行数
    PERCENT_RANK() OVER(PARTITION BY school_id ORDER BY score)
     AS rn2,
     RANK() OVER(PARTITION BY school_id ORDER BY score) AS rank2,
    SUM(1) OVER(PARTITION BY school_id) AS sum2
FROM test.student_score;

结果：

school_id	student_id	score	rn1	rank1	sum1	rn2	rank2	sum2
1001	10001	11	0.0	1	14	0.0	1	7
1001	10005	22	0.15384615384615385	3	14	0.16666666666666666	2	7
1001	10004	33	0.3076923076923077	5	14	0.3333333333333333	3	7
1001	10002	55	0.6153846153846154	9	14	0.5	4	7
1001	10003	77	0.7692307692307693	11	14	0.6666666666666666	5	7
1001	10006	99	0.9230769230769231	13	14	0.8333333333333334	6	7
1001	10007	99	0.9230769230769231	13	14	0.8333333333333334	6	7
1002	10007	11	0.0	1	14	0.0	1	7
1002	10001	22	0.15384615384615385	3	14	0.16666666666666666	2	7
1002	10005	33	0.3076923076923077	5	14	0.3333333333333333	3	7
1002	10006	33	0.3076923076923077	5	14	0.3333333333333333	3	7
1002	10004	44	0.5384615384615384	8	14	0.6666666666666666	5	7
1002	10002	66	0.6923076923076923	10	14	0.8333333333333334	6	7
1002	10003	88	0.8461538461538461	12	14	1.0	7	7

取值函数

数据和表准备同排序函数。

LAG

作用：
LAG(col,n,DEFAULT)用于统计窗口内往上第n行值

参数：
第一个参数为列名，
第二个参数为往上第n行（可选，默认为1），
第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

SELECT
    school_id,
    date_key,
    grade,
    ROW_NUMBER() OVER(PARTITION BY school_id ORDER BY date_key) AS rn,
    LAG(date_key,1,'1970-01-01') OVER(PARTITION BY school_id ORDER BY date_key) AS last_day_1,
    LAG(date_key,2) OVER(PARTITION BY school_id ORDER BY date_key) AS last_day_2 
FROM test.student_score;

结果：

school_id	date_key	grade	rn	last_day_1	last_day_2
1002	2021-05-20	初一	1	1970-01-01	NULL
1002	2021-05-21	初二	2	2021-05-20	NULL
1002	2021-05-23	初三	3	2021-05-21	2021-05-20
1002	2021-05-24	初一	4	2021-05-23	2021-05-21
1002	2021-05-25	初一	5	2021-05-24	2021-05-23
1002	2021-05-26	初三	6	2021-05-25	2021-05-24
1002	2021-05-27	初二	7	2021-05-26	2021-05-25
1001	2021-05-20	初一	1	1970-01-01	NULL
1001	2021-05-21	初二	2	2021-05-20	NULL
1001	2021-05-23	初三	3	2021-05-21	2021-05-20
1001	2021-05-24	初一	4	2021-05-23	2021-05-21
1001	2021-05-25	初一	5	2021-05-24	2021-05-23
1001	2021-05-26	初三	6	2021-05-25	2021-05-24
1001	2021-05-27	初二	7	2021-05-26	2021-05-25

结果分析：

last_day_1: 指定了往上第1行的值，default为'1970-01-01'  
            1002第一行，往上1行为NULL,因此取默认值 1970-01-01
            1002第三行，往上1行值为第二行值，2021-05-20
            1002第六行，往上1行值为第五行值，2021-05-25
last_day_2: 指定了往上第2行的值，为指定默认值
			1002第一行，往上2行为NULL
			1002第二行，往上2行为NULL
		    1002第四行，往上2行为第二行值，2021-05-21
		    1002第七行，往上2行为第五行值，2021-05-25

LEAD（）

作用：
与LAG相反。LEAD(col,n,DEFAULT)用于统计窗口内往下第n行值。

参数：
第一个参数为列名.
第二个参数为往下第n行（可选，默认为1）.
第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

SELECT
    school_id,
    date_key,
    grade,
    ROW_NUMBER() OVER(PARTITION BY school_id ORDER BY date_key) AS rn,
    LEAD(date_key,1,'1970-01-01') OVER(PARTITION BY school_id ORDER BY date_key) AS next_day_1,
    LEAD(date_key,2) OVER(PARTITION BY school_id ORDER BY date_key) AS next_day_2 
FROM test.student_score;

结果：

school_id	date_key	grade	rn	next_day_1	next_day_2
1002	2021-05-20	初一	1	2021-05-21	2021-05-23
1002	2021-05-21	初二	2	2021-05-23	2021-05-24
1002	2021-05-23	初三	3	2021-05-24	2021-05-25
1002	2021-05-24	初一	4	2021-05-25	2021-05-26
1002	2021-05-25	初一	5	2021-05-26	2021-05-27
1002	2021-05-26	初三	6	2021-05-27	NULL
1002	2021-05-27	初二	7	1970-01-01	NULL
1001	2021-05-20	初一	1	2021-05-21	2021-05-23
1001	2021-05-21	初二	2	2021-05-23	2021-05-24
1001	2021-05-23	初三	3	2021-05-24	2021-05-25
1001	2021-05-24	初一	4	2021-05-25	2021-05-26
1001	2021-05-25	初一	5	2021-05-26	2021-05-27
1001	2021-05-26	初三	6	2021-05-27	NULL
1001	2021-05-27	初二	7	1970-01-01	NULL

结果分析：

next_day_1: 指定了往下第1行的值，default为'1970-01-01'  
            1002第七行，往下行为NULL,因此取默认值 1970-01-01
            1002第四行，往下1行值为第二行值，2021-05-25
            1002第二行，往下1行值为第五行值，2021-05-23
next_day_2: 指定了往下第2行的值，为指定默认值
			1002第七行，往下2行为NULL
			1002第六行，往下2行为NULL
		    1002第三行，往下2行为第二行值，2021-05-25
		    1002第一行，往上2行为第五行值，2021-05-23

FIRST_VALUE（）、LAST_VALUE()

FIRST_VALUE()取分组内排序后，截止到当前行，第一个值。

LAST_VALUE()取分组内排序后，截止到当前行，最后一个值。

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果。

如果想要取分组内排序后最后一个值，则需要变通一下，如实例中last_3，last_4。

SELECT
    school_id,
    date_key,
    grade,
    ROW_NUMBER() OVER(PARTITION BY school_id ORDER BY date_key) AS rn,
    FIRST_VALUE(date_key) OVER(PARTITION BY school_id ORDER BY date_key) AS first_1,
    -- 如果不指定`ORDER BY`，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果。
    FIRST_VALUE(date_key) OVER(PARTITION BY school_id) AS first_2,
    LAST_VALUE(date_key) OVER(PARTITION BY school_id) AS last_2,
    --我们发现LAST_VALUE并不能取最后一个值而是默认取从起点到当前行的最后一个值
    LAST_VALUE(date_key) OVER(PARTITION BY school_id ORDER BY date_key) AS last_3,
    --如果想要取分组内排序后最后一个值，则需要变通一下
    FIRST_VALUE(date_key) OVER(PARTITION BY school_id ORDER BY date_key DESC) AS last_4 
FROM test.student_score;

结果：

school_id	date_key	grade	rn	first_1	first_2	last_2	last_3	last_4
1002	2021-05-20	初一	1	2021-05-20	2021-05-20	2021-05-27	2021-05-20	2021-05-27
1002	2021-05-21	初二	2	2021-05-20	2021-05-20	2021-05-27	2021-05-21	2021-05-27
1002	2021-05-23	初三	3	2021-05-20	2021-05-20	2021-05-27	2021-05-23	2021-05-27
1002	2021-05-24	初一	4	2021-05-20	2021-05-20	2021-05-27	2021-05-24	2021-05-27
1002	2021-05-25	初一	5	2021-05-20	2021-05-20	2021-05-27	2021-05-25	2021-05-27
1002	2021-05-26	初三	6	2021-05-20	2021-05-20	2021-05-27	2021-05-26	2021-05-27
1002	2021-05-27	初二	7	2021-05-20	2021-05-20	2021-05-27	2021-05-27	2021-05-27
1001	2021-05-20	初一	1	2021-05-20	2021-05-20	2021-05-27	2021-05-20	2021-05-27
1001	2021-05-21	初二	2	2021-05-20	2021-05-20	2021-05-27	2021-05-21	2021-05-27
1001	2021-05-23	初三	3	2021-05-20	2021-05-20	2021-05-27	2021-05-23	2021-05-27
1001	2021-05-24	初一	4	2021-05-20	2021-05-20	2021-05-27	2021-05-24	2021-05-27
1001	2021-05-25	初一	5	2021-05-20	2021-05-20	2021-05-27	2021-05-25	2021-05-27
1001	2021-05-26	初三	6	2021-05-20	2021-05-20	2021-05-27	2021-05-26	2021-05-27
1001	2021-05-27	初二	7	2021-05-20	2021-05-20	2021-05-27	2021-05-27	2021-05-27

增强GROUP

GROUPING SETS,GROUPING__ID,CUBE,ROLLUP，这几个分析函数通常用于OLAP中，使用于多指标需要根据不同的维度上钻和下钻的指标统计，比如，分学校、年级、班级的统计不同维度组合数据。

GROUPING SETS

在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL。其中的 GROUPING__ID，表示结果属于哪一个分组集合。

SELECT 
    school_id,
    grade,
    class,
    COUNT(DISTINCT student_id) AS uv,
    GROUPING__ID 
FROM test.student_score
GROUP BY school_id,grade,class 
GROUPING SETS (school_id,grade,class,(school_id,grade,class),(school_id,grade),(grade,class),(school_id,class)) 
ORDER BY GROUPING__ID;

结果：

school_id	grade	class	uv	GROUPING__ID
1001	初一	3	1	0
1002	初三	1	1	0
1001	初一	1	2	0
1002	初一	3	1	0
1001	初二	2	2	0
1001	初三	2	1	0
1002	初一	1	2	0
1002	初三	2	1	0
1002	初二	2	2	0
1001	初三	1	1	0
1001	初一	NULL	3	1
1002	初二	NULL	2	1
1001	初二	NULL	2	1
1002	初一	NULL	3	1
1001	初三	NULL	2	1
1002	初三	NULL	2	1
1002	NULL	2	3	2
1002	NULL	3	1	2
1001	NULL	1	3	2
1001	NULL	3	1	2
1001	NULL	2	3	2
1002	NULL	1	3	2
1001	NULL	NULL	7	3
1002	NULL	NULL	7	3
NULL	初三	1	1	4
NULL	初三	2	1	4
NULL	初一	1	2	4
NULL	初二	2	2	4
NULL	初一	3	1	4
NULL	初三	NULL	2	5
NULL	初一	NULL	3	5
NULL	初二	NULL	2	5
NULL	NULL	3	1	6
NULL	NULL	2	3	6
NULL	NULL	1	3	6

经过结果分析我们发现，使用 GROUPING SETS可以再同一层SQL查询进行多维度统计并将结果合并（union all）在一起。其效果等价于如下：

SELECT school_id,grade,class,COUNT(DISTINCT student_id) AS uv,0 AS GROUPING__ID FROM test.student_score GROUP BY school_id,grade,class
UNION ALL
SELECT school_id,grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,1 AS GROUPING__ID FROM test.student_score GROUP BY school_id,grade
UNION ALL
SELECT school_id,NULL AS class,class,COUNT(DISTINCT student_id) AS uv,2 AS GROUPING__ID FROM test.student_score GROUP BY school_id,class
UNION ALL
SELECT NULL AS school_id,grade,class,COUNT(DISTINCT student_id) AS uv,3 AS GROUPING__ID FROM test.student_score GROUP BY grade,class
UNION ALL
SELECT school_id,NULL AS grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,4 AS GROUPING__ID FROM test.student_score GROUP BY school_id
UNION ALL
SELECT NULL AS school_id,grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,5 AS GROUPING__ID FROM test.student_score GROUP BY grade
UNION ALL
SELECT NULL AS school_id,NULL AS grade,class,COUNT(DISTINCT student_id) AS uv,6 AS GROUPING__ID FROM test.student_score GROUP BY class

CUBE

根据GROUP BY的维度的所有组合进行聚合。

SELECT 
    school_id,
    grade,
    class,
    COUNT(DISTINCT student_id) AS uv,
    GROUPING__ID 
FROM test.student_score 
GROUP BY school_id,grade,class 
WITH CUBE 
ORDER BY GROUPING__ID;

结果：

school_id	grade	class	uv	GROUPING__ID
1001	初三	1	1	0
1002	初一	3	1	0
1001	初三	2	1	0
1001	初一	1	2	0
1002	初一	1	2	0
1001	初一	3	1	0
1002	初二	2	2	0
1001	初二	2	2	0
1002	初三	1	1	0
1002	初三	2	1	0
1002	初二	NULL	2	1
1002	初一	NULL	3	1
1001	初二	NULL	2	1
1001	初三	NULL	2	1
1002	初三	NULL	2	1
1001	初一	NULL	3	1
1001	NULL	3	1	2
1002	NULL	3	1	2
1002	NULL	1	3	2
1001	NULL	1	3	2
1002	NULL	2	3	2
1001	NULL	2	3	2
1002	NULL	NULL	7	4
1001	NULL	NULL	7	4
NULL	初三	2	1	3
NULL	初一	3	1	3
NULL	初一	1	2	3
NULL	初三	1	1	3
NULL	初二	2	2	3
NULL	初二	NULL	2	5
NULL	初一	NULL	3	5
NULL	初三	NULL	2	5
NULL	NULL	3	1	6
NULL	NULL	1	3	6
NULL	NULL	2	3	6
NULL	NULL	NULL	7	7

经过结果分析我们发现，使用 CUBE可以再同一层SQL,GROUP BY的维度的所有组合进行多维度统计并将结果合并（union all）在一起。其效果等价于如下：

SELECT school_id,grade,class,COUNT(DISTINCT student_id) AS uv,0 AS GROUPING__ID FROM test.student_score GROUP BY school_id,grade,class
UNION ALL
SELECT school_id,grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,1 AS GROUPING__ID FROM test.student_score GROUP BY school_id,grade
UNION ALL
SELECT school_id,NULL AS class,class,COUNT(DISTINCT student_id) AS uv,2 AS GROUPING__ID FROM test.student_score GROUP BY school_id,class
UNION ALL
SELECT school_id,NULL AS grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,4 AS GROUPING__ID FROM test.student_score GROUP BY school_id
UNION ALL
SELECT NULL AS school_id,grade,class,COUNT(DISTINCT student_id) AS uv,3 AS GROUPING__ID FROM test.student_score GROUP BY grade,class
UNION ALL
SELECT NULL AS school_id,grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,5 AS GROUPING__ID FROM test.student_score GROUP BY grade
UNION ALL
SELECT NULL AS school_id,NULL AS grade,class,COUNT(DISTINCT student_id) AS uv,6 AS GROUPING__ID FROM test.student_score GROUP BY class
UNION ALL
SELECT NULL AS school_id,NULL AS grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,7 AS GROUPING__ID FROM test.student_score

ROLLUP

是CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。
group by rollup(school_id,grade,class), 可以理解为从右到左以一次少一列的方式依次进行group by。

学校、年级、班级的UV->学校、年级的UV->学校的UV->总的UV：

SELECT 
    school_id,
    grade,
    class,
    COUNT(DISTINCT student_id) AS uv,
    GROUPING__ID 
FROM test.student_score 
GROUP BY school_id,grade,class 
WITH ROLLUP 
ORDER BY GROUPING__ID;

结果：

school_id	grade	class	uv	GROUPING__ID
1001	初一	3	1	0
1002	初三	1	1	0
1001	初一	1	2	0
1002	初一	3	1	0
1001	初二	2	2	0
1001	初三	2	1	0
1002	初一	1	2	0
1002	初三	2	1	0
1002	初二	2	2	0
1001	初三	1	1	0
1001	初一	NULL	3	1
1002	初二	NULL	2	1
1001	初二	NULL	2	1
1002	初一	NULL	3	1
1001	初三	NULL	2	1
1002	初三	NULL	2	1
1001	NULL	NULL	7	3
1002	NULL	NULL	7	3
NULL	NULL	NULL	7	7

经过对结果分析： group by rollup(school_id,grade,class) 则以group by(school_id,grade,class) -> group by(school_id,grade) -> group by(school_id) -> group by null(最终汇总)的顺序进行分组相当于:

SELECT school_id,grade,class,COUNT(DISTINCT student_id) AS uv,GROUPING__ID FROM test.student_score GROUP BY school_id,grade,class 
UNION ALL
SELECT school_id,grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,GROUPING__ID FROM test.student_score GROUP BY school_id,grade 
UNION ALL
SELECT school_id,NULL AS grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,GROUPING__ID FROM test.student_score GROUP BY school_id
UNION ALL
SELECT NULL AS school_id,NULL AS grade,NULL AS class,COUNT(DISTINCT student_id) AS uv,GROUPING__ID FROM test.student_score

你可能感兴趣的:(sql,hivessql,hive,大数据,sql,hive,开窗函数,spark)

mysql禁用远程登录 igotyback mysql
去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQL Server 数据库 sqlserver
1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
MYSQL面试系列-04 king01299 面试 mysql 面试
MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
SpringBlade dict-biz/list 接口 SQL 注入漏洞文章永久免费只为良心 oracle 数据库
SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
JAVA·一个简单的登录窗口 MortalTom java 开发语言学习
文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
入门MySQL——查询语法练习 K_un
前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php 课程设计 vue.js
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
MyBatis 详解阿贾克斯的黎明 java mybatis
目录目录一、MyBatis是什么二、为什么使用MyBatis（一）灵活性高（二）性能优化（三）易于维护三、怎么用MyBatis（一）添加依赖（二）配置MyBatis（三）创建实体类和接口（四）使用MyBatis一、MyBatis是什么MyBatis是一个优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。它可以通过简
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version 努力的菜鸟~ sql 数据库
YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）知识分享小能手大数据数据库 MySQL mysql 学习 oracle 数据库开发语言 adb 大数据
1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库 Web相关错误集
createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
鲲鹏 ARM 架构麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构 nginx 服务器
最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
【Golang】 Golang 的 GORM 库中的 Rows 函数不爱洗脚的小滕 golang 开发语言后端
文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
MySQL事务隔离级别和MVCC 简书徐小耳
MySQL事务隔离级别和MVCC参考：https://mp.weixin.qq.com/s/Jeg8656gGtkPteYWrG5_Nw1.MVCC只对读已提交和可重复的读有效果，而未提交读和串行则无意义。2.每条记录都会有trx_id(事务修改记录的id）和roll_pointer是一个指针指向旧版本的undo日志链表（row_id不是必必要的，如果有主键存在就不需要了）3.版本链的头结点就是记
【Death Note】网吧战神之7天爆肝渗透测试死亡笔记_sqlmap在默认情况下除了使用 char() 函数防止出现单引号 2401_84561374 程序员笔记
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！特殊服务端口2181zookeeper服务未授权访问
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
CentOS7 安装MySQL5.7.44 不要Null了 java centos mysql
1.下载mysql安装包，我放在百度网盘里(下方链接)链接：https://pan.baidu.com/s/1_Mn1XW_1mWdTV4mhnLG66A提取码：s31n2.首先看看以前是否安装过mysqlrpm-qa|grep-imysql如果已经安装过mysql会提示卸载mysqlrpm-emysql-…3.使用FinallShell或者Xftp进行上传放到/usr/local/mysql，没
非关系型数据库天秤-white nosql
一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
如何用ruby来写hadoop的mapreduce并生成jar包 wudixiaotie mapreduce
ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 1.安装rvm：不说了网上有 2.安装ruby：由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 3.安装jruby： rvm install jruby然后等待安
java编程思想 -- 访问控制权限百合不是茶 java 访问控制权限单例模式
访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问一:包访问权限; 自定义包: package com.wj.control; //包 public class Demo { //定义一个无参的方法 public void DemoPackage(){ System.out.println("调用
[生物与医学]请审慎食用小龙虾 comsci 生物
现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡..... 所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质
org.apache.jasper.JasperException: Unable to compile class for JSP: 商人shang maven 2.2 jdk1.8
环境： jdk1.8 maven tomcat7-maven-plugin 2.0 原因： tomcat7-maven-plugin 2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin 2.2就行，即 <plugin>
你的垃圾你处理掉了吗?GC oloz GC
前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 1.垃圾收集算法的核心思想　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
shiro 和 SESSSION 杨白白 shiro
shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
移动互联网终端淘宝客如何实现盈利小桔子移動客戶端淘客淘寶App
2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
wordpress小工具制作 aichenglong wordpress 小工具
wordpress 使用侧边栏的小工具，很方便调整页面结构小工具的制作过程 1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 <?php class AWP_Post_Category extends WP_Wi
JS微信分享 AILIKES js
// 所有功能必须包含在 WeixinApi.ready 中进行 WeixinApi.ready(function(Api) { // 微信分享的数据 var wxData = { &nb
封装探讨百合不是茶 JAVA面向对象封装
//封装属性方法将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用例如 1： //属性将其设为私有姓名 name 可以公开
jquery radio/checkbox change事件不能触发的问题 bijian1013 JavaScript jquery
我想让radio来控制当前我选择的是机动车还是特种车，如下所示： <html> <head> <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
AngularJS中安全性措施 bijian1013 JavaScript AngularJS 安全性 XSRF JSON漏洞
在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。一.JSON漏洞当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
[Maven学习笔记九]Maven发布web项目 bit1129 maven
基于Maven的web项目的标准项目结构 user-project user-core user-service user-web src
【Hive七】Hive用户自定义聚合函数(UDAF) bit1129 hive
用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？ Double evaluate(Double a, Double b)
通过 nginx-lua 给 Nginx 增加 OAuth 支持 ronin47
前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： &n
利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法 bsr1983 session
在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。在 tomcat-redis-session-manager的github上有如下说明： Session Change Tracking As noted in the &qu
《代码大全》表驱动法-Table Driven Approach-1 bylijinnan java 算法
关于Table Driven Approach的一篇非常好的文章： http://www.codeproject.com/Articles/42732/Table-driven-Approach package com.ljn.base; import java.util.Random; public class TableDriven { public
Sybase封锁原理 chicony Sybase
昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
java异常处理机制 CrazyMizzz java
java异常关键字有以下几个，分别为 try catch final throw throws 他们的定义分别为 try： Opening exception-handling statement. catch： Captures the exception. finally： Runs its code before terminating
hive 数据插入DML语法汇总 daizj hive DML 数据插入
Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
工厂设计模式 dcj3sjt126com 设计模式
使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。工厂模式工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。 Example #1 调用工厂方法（带参数） <?phpclass Example{
mysql字符串查找函数 dcj3sjt126com mysql
FIND_IN_SET(str,strlist) 假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则 FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
jvm内存管理 easterfly jvm
一、JVM堆内存的划分分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中；年老代满了之后会执行major gc，这个是stop the word模式，执行
CentOS-6.3安装配置JDK-8 gengzg centos
JAVA_HOME=/usr/java/jdk1.8.0_45 JRE_HOME=/usr/java/jdk1.8.0_45/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
【转】关于web路径的获取方法 huangyc1210 Web 路径
假定你的web application 名称为news,你在浏览器中输入请求路径： http://localhost:8080/news/main/list.jsp 则执行下面向行代码后打印出如下结果： 1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
php里获取第一个中文首字母并排序远去的渡口数据结构 PHP
很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： Array ( [0] => Array ( [sid] => 2885842 [recetcstoredpay] =&g
java内部类 hm4123660 java 内部类匿名内部类成员内部类方法内部类
　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。 &nb
Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten zhb8015
maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。 maven pom: <dependency> <groupId>org.hibernate</groupId> <ar
Spark 性能相关参数配置详解－任务调度篇 Stark_Summer spark cache cpu 任务调度 yarn
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
css3滤镜 wangkeheng html css
经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 html代码： <a href='' class='icon'><img src='utv.jpg' /></a> css代码： .icon{-webkit-filter: graysc

hive sql——窗口函数使用实战小结

文章目录

一、什么是窗口函数

二、窗口函数介绍

三、窗口函数基本语法

四、理解Window子句

1. 理解下什么是WINDOW子句（灵活控制窗口的子集）

2. 官网有一段话列出了如下窗口函数是不支持window子句的：

Hive窗口函数实例：

聚合函数

实例表准备：

数据准备

SUM()

COUNT()

MAX()

MIN()

AVG()

排序函数

实例表准备

数据准备

NTILE()

ROW_NUMBER()\RANK()\DENSE_RANK()

比例函数

CUME_DIST（）

PERCENT_RANK()

取值函数

LAG

LEAD（）

FIRST_VALUE（）、LAST_VALUE()

增强GROUP

GROUPING SETS

CUBE

ROLLUP

你可能感兴趣的:(sql,hivessql,hive,大数据,sql,hive,开窗函数,spark)

1. 理解下什么是`WINDOW`子句（灵活控制窗口的子集）