SQL 如何在时间序列中根据字段变化分组

将排序(一般按时间排)后的数据按某字段变化分组统计,也就是分组字段值与上一行的值比较,如果相同则分到与上一行同组,不同时则创建一个新组。

这个问题用SQL来做很难!

SQL的集合是无序的,早期SQL没有相邻行引用的方法。SQL2003标准中加入了窗口函数,能引用相邻行,但分组仍然非常困难,需要用子查询人为造出分组序号。

举个例子:查询人员某段时间所处城市,并列出起始和结束时间。现有数据库表footmark数据如下:

NAMEFOOTDATECITY

Tom    2020-01-02 08:30:00Beijing

Tom    2020-01-03 08:30:00Beijing

Tom    2020-01-04 13:30:05Beijing

Tom    2020-01-04 16:36:00Chengdu

Tom    2020-01-05 08:30:00Chengdu

Tom    2020-01-06 12:30:00Chengdu

Tom    2020-01-06 17:30:25Beijing

Tom    2020-01-07 09:30:05Beijing

Tom    2020-01-09 16:30:00Beijing

………


要求最终分组统计的结果如下:

NAMECITYSTARTDATEENDDATE

TomBeijing2020-01-02 08:30:002020-01-04 13:30:05

Tom    Chengdu2020-01-04 16:36:002020-01-06 12:30:00

Tom    Beijing2020-01-06 17:30:252020-01-09 16:30:00


以Oracle为例,用SQL写出来是这样:

WITH A AS

       ( SELECT NAME, FOOTDATE, CITY,

              CASE WHEN CITY=LAG(CITY) OVER (PARTITION BY NAME ORDER BY FOOTDATE) THEN 0 ELSE ROWNUM END FLAG

       FROM FOOTMARK ORDER BY NAME, FOOTDATE),

B AS

       ( SELECT NAME, FOOTDATE, CITY,

              MAX(FLAG) OVER (PARTITION BY NAME ORDER BY FOOTDATE) FLAG

       FROM A),

C AS

       ( SELECT NAME, CITY, FLAG,

MIN(FOOTDATE) STARTDATE,

MAX(FOOTDATE) ENDDATE

       FROM B

GROUP BY NAME, CITY, FLAG

ORDER BY NAME, FLAG )

SELECT NAME, CITY, STARTDATE, ENDDATE FROM C;

这里的FLAG就是人为造出的分组序号,这种SQL既难写又难懂。


对于这种按顺序分组,如果使用集算器的SPL语言就会简单很多,只需1行代码:

connect("mydb").query("SELECT * FROM FOOTMARK ORDER BY NAME,FOOTDATE").groups@o(NAME,CITY;min(FOOTDATE):STARTDATE,max(FOOTDATE):ENDDATE)

SPL基于有序集合实现,提供了按有序分组的选项@o,解决这个问题非常容易。


SPL提供了等值分组、有序分组、有序条件分组、序号分组、嵌套分组、大数据有序分组、大数据有序条件分组等多种分组方式,详情参考《分组子集》。

集算器 SPL 是解决 SQL 难题的专业脚本语言,它语法简单,符合自然思维,是天然分步、层次清晰的面向过程计算语言。它采用与数据库无关的统一语法,编写的算法可在数据库间无缝迁移。它是桌面级计算工具,即装即用,配置简单,调试功能完善,可设置断点、单步执行,每步执行结果都可查看。请参阅SQL 解题手

SPL也能很方便地嵌入到JAVA应用,可参考《Java 如何调用 SPL 脚本》。

具体使用方法可参考 《如何使用集算器》。

你可能感兴趣的:(SQL 如何在时间序列中根据字段变化分组)