大数据左右手
大数据左右手

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢

 

前言

Flink SQL的窗口操作在straming的实现上增添了不少东西。是用起来越来越方便。本篇主要内容：

  • Watermark

  • 滚动窗口

  • 滑动窗口

  • 累积窗口函数

  • 窗口分组聚合GROUPING SETS

  • Clue幂集函数

  • Over函数

Watermark

引入

由于实时计算的输入数据是持续不断的，因此我们需要一个有效的进度指标，来帮助我们确定关闭时间窗口的正确时间点，保证关闭窗口后不会再有数据进入该窗口，可以安全输出这个窗口的聚合结果。

而Watermark就是一种衡量Event Time进展的有效机制。随着时间的推移，最早流入实时计算的数据会被处理完成，之后流入的数据处于正在处理状态。处于正在处理部分的和已处理部分的交界的时间戳，可以被定义为Watermark，代表在此之前的事件已经被处理完成并输出。

针对乱序的流，Watermark也至关重要，即使部分事件延迟到达，也不会影响窗口计算的正确性。此外，并行数据流中，当算子（Operator）有多个输入流时，算子的Event Time以最小流Event Time为准。

具体可参考Flink Straming的原理介绍：

Flink的窗口、时间语义，Watermark机制，多代码案例详解，Flink学习入门（三）

watermark策略

Flink SQL提供了几种常用的watermark策略。

  1. 严格意义上递增的时间戳,发出到目前为止已观察到的最大时间戳的水印。时间戳小于最大时间戳的行不会迟到。watermark for rowtime_column as rowtime_column

  2. 递增的时间戳,发出到目前为止已观察到的最大时间戳为负1的水印。时间戳等于或小于最大时间戳的行不会迟到。watermark for rowtime_column as rowtime_column - INTERVAL '1' SECOND.

  3. 有界时间戳(乱序)发出水印，它是观察到的最大时间戳减去指定的延迟， 例如，watermark for rowtime_column as rowtime_column - INTERVAL'5'SECOND是5秒的延迟水印策略。watermark for rowtime_column as rowtime_column - INTERVAL 'string' timeUnit.

现常用的语法

watermark [watermarkName] for as withOffset(, offset)

参数 是否必填 说明
watermarkName 否 标识Watermark的名字。
是 必须是表中已定义的一列（当前仅支持TIMESTAMP类型），基于该列生成Watermark，并且标识该列为Event Time列。您可以使用在作业代码中定义窗口。
withOffset 是 Watermark的生成策略，根据 - offset生成Watermark的值。withOffset的第一个参数必须是。
offset 是 Watermark值与Event Time值的偏移量，单位为毫秒。

窗口函数

滚动窗口

滚动窗口（TUMBLE）将每个元素分配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分为[0:00, 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢_第1张图片

语法

TUMBLE函数用在GROUP BY子句中，用来定义滚动窗口。TUMBLE(< time-attr>, < size-interval>) < size-interval>: INTERVAL 'string' timeUnit

< time-attr>参数必须是时间流中的一个合法的时间属性字段

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合

窗口标识函数 返回类型 描述
TUMBLE_START(time-attr, size-interval) TIMESTAMP 返回窗口的起始时间（包含边界）。例如[00:10,00:15)窗口，返回00:10
TUMBLE_END(time-attr, size-interval) TIMESTAMP 返回窗口的结束时间（包含边界）。例如[00:00, 00:15]窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的结束时间（不包含边界）。例如[00:00, 00:15]窗口，返回00:14:59.999。返回值是一个rowtime attribute，即可以基于该字段做时间属性的操作，例如，级联窗口只能用在基于Event Time的Window上，详情请参见级联窗口。
TUMBLE_PROCTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的结束时间（不包含边界）。例如[00:00, 00:15]窗口，返回00:14:59.999。返回值是一个Proctime Attribute，即可以基于该字段做时间属性的操作。例如，级联窗口只能用在基于Processing Time的Window上，详情请参见级联窗口。

新版本语法（简洁）

TUMBLE(TABLE data, DESCRIPTOR(timecol), size)

  • data: 是一个表参数。

  • timecol: 是一个列描述符指示应该映射到哪个时间的属性列。

  • size: 是一个持续时间指定窗口的宽度。

滑动窗口

滑动窗口（HOP），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢_第2张图片

通常，大部分元素符合多个窗口情景，窗口是重叠的。因此，滑动窗口在计算移动平均数（moving averages）时很实用。例如，计算过去5分钟数据的平均值，每10秒钟更新一次，可以设置slide为10秒，size为5分钟。下图为您展示间隔为30秒，窗口大小为1分钟的滑动窗口。

语法

下面不再介绍之前版本的写法，按1.13版本来 HOP(TABLE data, DESCRIPTOR(timecol), slide, size [, offset ])

  • data: 是一个表参数，数据表。

  • timecol: 是一个列描述符指示应该映射到哪个时间的属性列。

  • slide: 滑动时间。

  • size: 是一个持续时间指定窗口的宽度。

累积窗口函数

累积窗口在某些情况下非常有用，例如在固定的窗口间隔内早期触发的滚动窗口。例如，每日从00:00到每分钟累计计算UV值，10:00的UV值表示00:00到10:00的UV总数。这可以通过累积窗口轻松有效地实现。

累积函数将元素分配给窗口，这些窗口在初始步长间隔内覆盖行，并在每一步扩展到一个更多的步长(保持窗口开始固定)，直到最大窗口大小。你可以把累积函数看作是先应用具有最大窗口大小的滚动窗口，然后把每个滚动窗口分成几个窗口，每个窗口的开始和结束都有相同的步长差。所以累积窗口确实有重叠，而且没有固定的大小

FlinkSQL窗口，让你眼前一亮，是否可以大吃一惊呢_第3张图片

例如，你可以对1小时的步长和1天的最大长度有一个累积窗口，你就会得到窗口 [00:00, 01:00), [00:00, 02:00), [00:00, 03:00), …, [00:00, 24:00)

语法

CUMULATE(TABLE data, DESCRIPTOR(timecol), step, size)

  • data: 是一个表参数，数据表。

  • timecol: 是一个列描述符指示应该映射到哪个时间的属性列。

  • step: 步长

  • size: 是一个持续时间指定窗口的宽度!

以此为例：数据：goods

time price item
2020-04-15 08:05 4.00 C
2020-04-15 08:07 2.00 A
2020-04-15 08:09 5.00 D
2020-04-15 08:11 3.00 B
2020-04-15 08:13 1.00 E
2020-04-15 08:17 6.00 F 
SELECT window_start, window_end, SUM(price)
  FROM TABLE(
    CUMULATE(TABLE goods, DESCRIPTOR(time), INTERVAL '2' MINUTES, INTERVAL '10' MINUTES))
  GROUP BY window_start, window_end
window_start window_end price
2020-04-15 08:00 2020-04-15 08:06 4.00
2020-04-15 08:00 2020-04-15 08:08 6.00
2020-04-15 08:00 2020-04-15 08:10 11.00
2020-04-15 08:10 2020-04-15 08:12 3.00
2020-04-15 08:10 2020-04-15 08:14 4.00
2020-04-15 08:10 2020-04-15 08:16 4.00
2020-04-15 08:10 2020-04-15 08:18 10.00
2020-04-15 08:10 2020-04-15 08:20 10.00

窗口分组聚合GROUPING SETS

窗口聚合也支持分组集语法。分组集允许更复杂的分组标准比描述所GROUP by操作。指定行分别分组,每个分组集和聚合计算每组一样简单的group by子句 与下面相同 ROLLUP 汇总是一种速记符号用于指定一个常见类型的分组集。它代表给定的表达式和所有前缀列表的列表,包括空列表。　　 　　 窗口与汇总需要聚合window_start和window_end列必须在GROUP BY子句,但不是在ROLLUP中条款。

val kafka_sql=
      """
        |CREATE TABLE goods (
        |  item_id VARCHAR,
        |  item_type VARCHAR,
        |  event_time varchar,
        |  on_sell_time AS TO_TIMESTAMP(event_time),
        |  price DOUBLE,
        |  WATERMARK FOR on_sell_time AS on_sell_time - INTERVAL '1' SECOND
        |) WITH (
        |  'connector' = 'kafka',
        |  'topic' = 'testtopic',
        |  'properties.bootstrap.servers' = 'xxxxxx',
        |  'format' = 'json'
        |)
        |""".stripMargin
    tableEnv.executeSql(kafka_sql)

    val query=
      """
        |SELECT window_start, window_end, item_type, SUM(price) as price
        |  FROM TABLE(
        |    TUMBLE(TABLE goods, DESCRIPTOR(on_sell_time), INTERVAL '5' MINUTES))
        |  GROUP BY window_start, window_end, GROUPING SETS ((item_type), ())
        |""".stripMargin
        
        或者
       
      val query=
      """
        |SELECT window_start, window_end, item_type, SUM(price) as price
        |  FROM TABLE(
        |    TUMBLE(TABLE goods, DESCRIPTOR(on_sell_time), INTERVAL '5' MINUTES))
        |  GROUP BY window_start, window_end, ROLLUP (item_type)
        |""".stripMargin


tableEnv.executeSql(query).print()
        

数据源write(item)方法后发送kafka的消息

def test_over_window(): Array[AnyRef] ={
    Array(
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:01:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM002",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:02:00",
        "price"->50
      ),
      Map(
        "item_id"->"ITEM003",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:03:00",
        "price"->30
      ),
      Map(
        "item_id"->"ITEM004",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:04:00",
        "price"->60
      ),
      Map(
        "item_id"->"ITEM005",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:05:00",
        "price"->40
      ),
      Map(
        "item_id"->"ITEM006",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:06:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM007",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:07:00",
        "price"->10
      ),
      Map(
        "item_id"->"ITEM008",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:08:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM009",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:09:00",
        "price"->21
      ),
      Map(
        "item_id"->"ITEM010",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:10:00",
        "price"->22
      ),
      Map(
        "item_id"->"ITEM011",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:11:00",
        "price"->26
      )
    )
  }

结果：

window_start window_end item_type price
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 apple 160.0
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 (NULL) 160.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 apple 70.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 orange 41.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 (NULL) 111.0

CUBE

CUBE是一种用于指定公共分组集类型的简写符号。它表示给定的列表及其所有可能的子集——幂集

def cube(): Unit ={
    val kafka_sql=
      """
        |CREATE TABLE goods (
        |  item_id VARCHAR,
        |  item_type VARCHAR,
        |  event_time varchar,
        |  on_sell_time AS TO_TIMESTAMP(event_time),
        |  price DOUBLE,
        |  WATERMARK FOR on_sell_time AS on_sell_time - INTERVAL '1' SECOND
        |) WITH (
        |  'connector' = 'kafka',
        |  'topic' = 'testtopic',
        |  'properties.bootstrap.servers' = 'xxxxx',
        |  'format' = 'json'
        |)
        |""".stripMargin
    tableEnv.executeSql(kafka_sql)

    val query=
      """
        |SELECT window_start, window_end,item_id, item_type, SUM(price) as price
        |  FROM TABLE(
        |    TUMBLE(TABLE goods, DESCRIPTOR(on_sell_time), INTERVAL '5' MINUTES))
        |  GROUP BY window_start, window_end, CUBE(item_id,item_type)
        |""".stripMargin

    tableEnv.executeSql(query).print()
    
    }

数据源write(item)方法后发送kafka的消息

def test_clue(): Array[AnyRef] ={
    Array(
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:01:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:02:00",
        "price"->50
      ),
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:03:00",
        "price"->30
      ),
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:04:00",
        "price"->60
      ),
      Map(
        "item_id"->"ITEM001",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:05:00",
        "price"->40
      ),
      Map(
        "item_id"->"ITEM002",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:06:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM002",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:07:00",
        "price"->10
      ),
      Map(
        "item_id"->"ITEM002",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:08:00",
        "price"->20
      ),
      Map(
        "item_id"->"ITEM002",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:09:00",
        "price"->21
      ),
      Map(
        "item_id"->"ITEM02",
        "item_type"->"apple",
        "event_time"->"2020-04-15 10:10:00",
        "price"->22
      ),
      Map(
        "item_id"->"ITEM02",
        "item_type"->"orange",
        "event_time"->"2020-04-15 10:11:00",
        "price"->26
      )
    )
  }

结果：

window_start window_end item_id item_type price
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 (NULL) apple 140.0
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 ITEM001 apple 140.0
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 ITEM001 (NULL) 140.0
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 (NULL) (NULL) 140.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 (NULL) apple 70.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 ITEM001 apple 40.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 ITEM001 (NULL) 40.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 ITEM002 orange 41.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 (NULL) orange 41.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 ITEM002 (NULL) 71.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 (NULL) (NULL) 111.0
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 ITEM002 apple 30.0

over函数

以窗口Top N为例子

 def top_n: Unit ={
    val kafka_sql=
      """
        |CREATE TABLE goods (
        |  item_id VARCHAR,
        |  item_type VARCHAR,
        |  event_time varchar,
        |  on_sell_time AS TO_TIMESTAMP(event_time),
        |  price DOUBLE,
        |  WATERMARK FOR on_sell_time AS on_sell_time - INTERVAL '1' SECOND
        |) WITH (
        |  'connector' = 'kafka',
        |  'topic' = 'testtopic',
        |  'properties.bootstrap.servers' = 'xxxxx',
        |  'format' = 'json'
        |)
        |""".stripMargin
    tableEnv.executeSql(kafka_sql)

    val query=
      """
        |SELECT *
        |  FROM (
        |    SELECT *, ROW_NUMBER() OVER (PARTITION BY window_start, window_end ORDER BY price DESC) as rownum
        |    FROM (
        |      SELECT window_start, window_end, item_type, SUM(price) as price, COUNT(*) as cnt
        |      FROM TABLE(
        |        TUMBLE(TABLE goods, DESCRIPTOR(on_sell_time), INTERVAL '5' MINUTES))
        |      GROUP BY window_start, window_end, item_type
        |    )
        |  ) WHERE rownum <= 2
        |""".stripMargin
    tableEnv.executeSql(query).print()
    
    }

数据源也就是上面的test_over_window通过write(item)方法后发送kafka的消息

结果：

window_start window_end item_type price cnt rownum
2020-04-15 10:00:00.000 2020-04-15 10:05:00.000 apple 160.0 4 1
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 apple 70.0 3 1
2020-04-15 10:05:00.000 2020-04-15 10:10:00.000 orange 41.0 2 2

总结：

在Flink SQL窗口中:累积窗口函数, 窗口分组聚合GROUPING SETS,Clue幂集函数, Over函数这些给人眼前一亮，的确是减少了开发工作量。但是需要开发工作者灵活运行才会发挥价值。知识无止境，人生也无止境。

  

大数据左右手

技术如同手中的水有了生命似的，汇聚在了一起。作为大数据开发工作者，致力于大数据技术的学习与工作，分享大数据原理、架构、实时、离线、面试与总结，分享生活思考与读书见解。总有适合你的那一篇。

关注公众号！！！

和我联系吧，加群交流大数据知识,一起成长~~~

你可能感兴趣的:(FlinkSQL,FlinkSQL)

  • （十四）基于 Flink SQL 应用案例 springk Flink全景解析sql大数据实时数据处理实时数据flinkflinksql
    在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：实时统计购物节当日从零点开始，截止到当前时间总交易额。基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合FlinkSQL，完成技术方案设计，并输出实现代码。目录问题1详解问题2详解问题1详解基于问题一，主要
  • Flink SQL w/ Blink Planner执行流程解析（上篇） 码农老K javasqlflinkhive大数据
    Foreword大数据领域SQL化的风潮方兴未艾(所谓"EverybodyknowsSQL")，Flink自然也不能“免俗”。FlinkSQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSetAPI的复杂细节，降低了使用门槛。那么，一条FlinkSQL语句是如何转化成可执行的
  • （十三）Flink SQL springk Flink全景解析flinksql大数据实时数据处理实时数据数据库开发语言
    目录DDL操作DML操作查询语句1.SELECTDISTINCT2.窗口函数3.窗口聚合4.OVER聚合5.连接操作6.TOP-NFlink对SQL的支持基于实现了SQL标准的ApacheCalcite，包括数据定义语言（DataDefinitionLanguage，DDL）、数据操纵语言（DataManipulationLanguage，DML）以及查询语言。目前FlinkSQL所支持的所有语句
  • （十）Flink Table API 和 SQL 基本概念 springk Flink全景解析数据库flink大数据实时数据开发语言实时数据处理
    ApacheFlink有两种关系型API来做流批统一处理：TableAPI和SQL。TableAPI是用于Scala和Java语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子。FlinkSQL是基于ApacheCalcite来实现的标准SQL。无论输入是连续的（流式）还是有界的（批处理），在两个接口中指定的查询都具有相同的语义，并指定相同的结果。目录基本概念创
  • Flink中的SQL Client和SQL Gateway BigDataMLApplication flinkflinksqlgateway
    Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL语句的命令行界面或图形界面工具。SQLGateway：FlinkSQLGateway是一个独立的服务，它允许客户端通过RESTfulAPI将SQL查询提交到Flink集群。2.基本原理SQL
  • 【Flink SQL】Flink SQL 基础概念（五）：SQL 时区问题 G皮T #FlinkSQLflinksql大数据时区TIMESTAMP_LTZTIMESTAMP
    《FlinkSQL基础概念》系列，共包含以下5篇文章：FlinkSQL基础概念（一）：SQL&Table运行环境、基本概念及常用APIFlinkSQL基础概念（二）：数据类型FlinkSQL基础概念（三）：SQL动态表&连续查询FlinkSQL基础概念（四）：SQL的时间属性FlinkSQL基础概念（五）：SQL时区问题如果您觉得这篇文章有用✔️的话，请给博主一个一键三连吧（点赞、关注、收藏）！！
  • 【大数据】Flink SQL 语法篇（五）：Regular Join、Interval Join G皮T #FlinkSQL大数据flinksqlRegularJoinIntervalJoin双流Join
    《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
  • flink重温笔记（十五）： flinkSQL 顶层 API ——实时数据流转化为SQL表的操作 那就学有所成吧(˵¯͒¯͒˵) Flink重温笔记flink笔记sql大数据学习方法数据库KAFKA
    Flink学习笔记前言：今天是学习flink的第15天啦！学习了flinkSQL基础入门，主要是解决大数据领域数据处理采用表的方式，而不是写复杂代码逻辑，学会了如何初始化环境，鹅湖将流数据转化为表数据，以及如何查询表数据，结合自己实验猜想和代码实践，总结了很多自己的理解和想法，希望和大家多多交流！Tips："分享是快乐的源泉，在我的博客里，不仅有知识的海洋，还有满满的正能量加持，快来和我一起分享这
  • Apache Paimon 使用之Creating Catalogs 猫猫爱吃小鱼粮 Paimonapachehivehadoop
    PaimonCatalog目前支持两种类型的metastores：filesystemmetastore(default)，在文件系统中存储元数据和表文件。hivemetastore，将metadata存储在Hivemetastore中。用户可以直接从Hive访问表。1.使用FilesystemMetastore创建CatalogFlink引擎FlinkSQL注册并使用名为my_catalog的P
  • 【大数据】Flink SQL 语法篇（七）：Lookup Join、Array Expansion、Table Function G皮T #FlinkSQL大数据flinksqlLookupJoinArrayExpansionTableFunction维表Join
    《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
  • Flink SQL 魅美 大数据基础笔记flinksql大数据
    FlinkSQL来源：B站尚硅谷sql-client准备TableAPI和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（DataSetAPI）还是流处理（DataStreamAPI），在上层应用中都可以直接使用TableAPI或者SQL来实现；这两种A
  • 【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration 一杯咖啡半杯糖 Flink实战flinkhadoopsql
    问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
  • FlinkSql一个简单的测试程序 公子乂 javaflink
    FlinkSql一个简单的测试程序以下是一个简单的FlinkSQL示例，展示了如何使用FlinkTableAPI和FlinkSQL进行基本的数据流处理。定义数据实体CC：-CC类表示数据流中的元素，包含两个字段：character（字符）和count（计数）。-提供了无参构造函数和带参构造函数，用于创建CC对象。//1.定义数据实体publicstaticclassCC{publicStringc
  • flink sql upsert kafka对于changelogNormalize state解读 minchowang Flink
    flinksqlupsertkafka对于changelogNormalizestate解读原文：https://www.jianshu.com/p/5ffe5aa0dc59这里说一点：flinksql-upsertkafka去重并非在kafka-connector中实现，而是在这个DeduplicateFunctionBase父类中的ValueState进行keyby状态去重的，因此为何upse
  • 【Flink入门修炼】1-3 Flink WordCount 入门实现 flinkhadoop
    本篇文章将带大家运行Flink最简单的程序WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对Flink的各种概念和架构进行介绍。下面将从创建项目开始，介绍如何创建出一个Flink项目；然后从DataStream流处理和FlinkSQL执行两种方式来带大家学习WordCount程序的开发。Flink各版本之间变化较多，之前版本的函数在后续版本可能不再支持。跟随学习时
  • 计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计 计算机毕业设计大神
    流程1.selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库，导入.csv数据集；4.离线分析采用hive_sql完成，实时分析利用Flink之Scala、FlinkSQL完成;5.统计指标使用sqoop导入mysql数据库；6
  • Flink从入门到实践（三）：数据实时采集 - Flink MySQL CDC 秃了也弱了。 大数据：Flinkflinkmysql大数据
    文章目录系列文章索引一、概述1、版本匹配2、导包二、编码实现1、基本使用2、更多配置3、自定义序列化器4、FlinkSQL方式三、踩坑1、TheMySQLserverhasatimezoneoffset(0secondsaheadofUTC)whichdoesnotmatchtheconfiguredtimezoneAsia/Shanghai.参考资料系列文章索引Flink从入门到实践（一）：Fl
  • flink 从savepoint、checkpoint中恢复数据 但行益事莫问前程 flinkflink大数据kafka
    文章目录前言一、savepoint是什么？二、如何从savepoint/checkpoint中恢复数据1.flinksql流作业2.查看flinkwebui3.手动停止作业并设置savepoint4.查看生成的文件5.添加参数，进行作业恢复前言提示：flinkcheckpoint重启：  flink作业因为故障导致restartstrategy失败或升级flink版本重新发布任务，这时就需要从最近
  • 史上最全OLAP对比 只会写demo的程序猿 数仓sparkhadoop数据仓库
    目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2SparkSQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin综上所述:1.什么是OLAPOLAP（On
  • flink-redis-connector实现 knowfarhhy flinkredisredis缓存数据库
    分享一个项目flink-redis-connector，功能如下：支持FlinkSQL写Redis支持FlinkSQL读Redis维表（高时效性&提供缓存，非定期全量load的allcache方式）一：维表方式createtablehistalarmDim(metricKeyvarchar,histalarmDataARRAY)with('connector'='redis','host'='12
  • FlinkSql通用调优策略 orange大数据技术探索者 #flink迁移flinkflink调优实时调优
    历史文章迁移，稍后整理使用DataGenerator提前进行压测，了解数据的处理瓶颈、性能测试和消费能力开启minibatch："table.exec.mini-batch.enabled","true"开启Local+Global两阶段聚合："table.exec.mini-batch.enabled","true"解决数据倾斜问题：流式倾斜，开启minibatch窗口类有界操作，传统的两阶段聚
  • FlinkSql 窗口函数 orange大数据技术探索者 #flink迁移flinkwindows窗口函数
    WindowingTVF以前用的是GroupedWindowFunctions（分组窗口函数），但是分组窗口函数只支持窗口聚合现在FlinkSql统一都是用的是WindowingTVFs（窗口表值函数），WindowingTVFs更符合SQL标准且更加强大，支持windowjoin、Windowaggregations、WindowTop-N、WindowDeduplicationWindowin
  • 详述FlinkSql Join操作 orange大数据技术探索者 #flink迁移FlinkSqFlinkJoin
    FlinkSql的JoinFlink官网将其分为了Joins和WindowJoins两个大类，其中里面又分了很多Join方式参考文档：Joins|ApacheFlinkWindowJOIN|ApacheFlinkJoins官网介绍共有6种方式：RegularJoin：流与流的Join，包括InnerJoin、OuterEqualJoinIntervalJoin：流与流的Join，两条流一段时间区间
  • 【Flink入门修炼】1-3 Flink WordCount 入门实现 大数据王小皮 Flink入门修炼flink大数据
    本篇文章将带大家运行Flink最简单的程序WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对Flink的各种概念和架构进行介绍。下面将从创建项目开始，介绍如何创建出一个Flink项目；然后从DataStream流处理和FlinkSQL执行两种方式来带大家学习WordCount程序的开发。Flink各版本之间变化较多，之前版本的函数在后续版本可能不再支持。跟随学习时
  • 【Flink】FlinkSQL实现数据从Kafka到MySQL 一杯咖啡半杯糖 Flink实战Flink解决方案flinkkafkamysql
    简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作，这个在生产开发中比较常用，通常生产用kafka作为数据的输入
  • 浅谈Flink SQL代码生成与UDF重复调用的优化 LittleMagic
    前言之前讲解FlinkSQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。代码生成简介代码生成（codegeneration）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅的性
  • 【源码改造】Flink-jdbc-connector源码简析+改造支持谓词下推 roman_日积跬步-终至千里 #flink实战#flink源码flinkjava
    一、需求背景分析flinksql在维表关联时，会有一个场景：当右表的数据量比较大且有些数据虽然符合join条件，但其实对于下游来说数据可能没用，这样就浪费了flink的计算资源，且拉低了数据处理能力。如果在join前就把维表的数据进一步过滤，然后再join，这样就会使减轻“无用数据”对flink内存的占用，提高计算能力，进而优化数据处理的能力。有两个思路可以解决这个问题，一是将维表在join前先过
  • FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现 大数据点灯人 FlinkKafkaHudikafkamysqlspark
    前序：FlinkCDC-Hudi系列文章：FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDCmysql主从库同步高可用FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkS
  • 【Flink】FlinkSQL的DataGen连接器（测试利器） 一杯咖啡半杯糖 Flink实战flink大数据
    简介我们在实际开发过程中可以使用FlinkSQL的DataGen连接器实现FlinkSQL的批或者流模拟数据生成，DataGen连接器允许按数据生成规则进行读取，但注意:DataGen连接器不支持复杂类型:Array，Map，Row。请用计算列构造这些类型创建有界DataGen表CREATETABLEtest(aINT,bSTRING,createtimeTIMESTAMP(3),WATERMAR
  • FlinkSql中表的创建及查询 大大大大肉包 flink数据库javamysql1024程序员节
    表中的列FlinkSql中的列分为俩种，第一种是常规列，也就是物理列，其定义了物理介质中存储的数据中字段的名称、类型和顺序。另一种是元数据列，元数据列是SQL标准的扩展，允许访问数据源本身具有的⼀些元数据。元数据列由METADATA关键字标识。最后一种是计算列，计算列其实就是在写建表的DDL时，可以拿已有的⼀些列经过⼀些⾃定义的运算⽣成的新列。这些列本身是没有以物理形式存储到数据源中的。创建表的语
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他