Flink的window和Time详解

对于流式处理，如果我们需要求取总和，平均值，或者最大值，最小值等，是做不到的，因为数据一直在源源不断的产生，即数据是没有边界的，所以没法求最大值，最小值，平均值等，所以为了一些数值统计的功能，我们必须指定时间段，对某一段时间的数据求取一些数据值是可以做到的。或者对某一些数据求取数据值也是可以做到的
所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分钟” ，或者 “最后100个元素的和” 。
window是一种可以把无限数据切割为有限数据块的手段
窗口可以是时间驱动的【Time Window】（比如：每30秒）或者数据驱动的【Count Window】（比如：每100个元素）。

窗口类型汇总：

1、窗口的基本类型介绍
窗口通常被区分为不同的类型:
 tumbling windows：滚动窗口【没有重叠】
 sliding windows：滑动窗口【有重叠】
 session windows：会话窗口，一般没人用
tumbling windows类型：没有重叠的窗口

sliding windows：滑动窗口【有重叠】

2、Flink的窗口介绍
Time Window窗口的应用
time window又分为滚动窗口和滑动窗口，这两种窗口调用方法都是一样的，都是调用timeWindow这个方法，如果传入一个参数就是滚动窗口，如果传入两个参数就是滑动窗口

Count Windos窗口的应用
与timeWindow类型，CountWinodw也可以分为滚动窗口和滑动窗口，这两个窗口调用方法一样，都是调用countWindow，如果传入一个参数就是滚动窗口，如果传入两个参数就是滑动窗口

自定义window的应用
如果time window和 countWindow还不够用的话，我们还可以使用自定义window来实现数据的统计等功能。

3、window的数值聚合统计
对于某一个window内的数值统计，我们可以增量的聚合统计或者全量的聚合统计
增量聚合统计：
窗口当中每加入一条数据，就进行一次统计
• reduce(reduceFunction)
• aggregate(aggregateFunction)
• sum(),min(),max()

需求：通过接收socket当中输入的数据，统计每5秒钟数据的累计的值
代码实现：
import org.apache.flink.api.common.functions.ReduceFunction
import org.apache.flink.streaming.api.datastream.DataStreamSink
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.windowing.time.Time

object FlinkTimeCount {
def main(args: Array[String]): Unit = {
val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
import org.apache.flink.api.scala._

val socketStream: DataStream[String] = environment.socketTextStream("node01",9000)
val print: DataStreamSink[(Int, Int)] = socketStream
  .map(x => (1, x.toInt))
  .keyBy(0)
  .timeWindow(Time.seconds(5))
  .reduce(new ReduceFunction[(Int, Int)] {
    override def reduce(t: (Int, Int), t1: (Int, Int)): (Int, Int) = {
      (t._1, t._2 + t1._2)
    }
  }).print()

environment.execute("startRunning")

}
}
全量聚合统计：
等到窗口截止，或者窗口内的数据全部到齐，然后再进行统计，可以用于求窗口内的数据的最大值，或者最小值，平均值等
等属于窗口的数据到齐，才开始进行聚合计算【可以实现对窗口内的数据进行排序等需求】
apply(windowFunction)
process(processWindowFunction)
processWindowFunction比windowFunction提供了更多的上下文信息。
需求：通过全量聚合统计，求取每3条数据的平均值
import org.apache.flink.api.java.tuple.Tuple
import org.apache.flink.streaming.api.datastream.DataStreamSink
import org.apache.flink.streaming.api.scala.function.ProcessWindowFunction
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment, WindowedStream}
import org.apache.flink.streaming.api.windowing.windows.{GlobalWindow, TimeWindow}
import org.apache.flink.util.Collector

object FlinkCountWindowAvg {

def main(args: Array[String]): Unit = {
val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

import org.apache.flink.api.scala._
val socketStream: DataStream[String] = environment.socketTextStream("node01",9000)
//统计一个窗口内的数据的平均值
val socketDatas: DataStreamSink[Double] = socketStream.map(x => (1, x.toInt))
  .keyBy(0)
  //.timeWindow(Time.seconds(10))
  .countWindow(3)
  //通过process方法来统计窗口的平均值
  .process(new MyProcessWindowFunctionclass).print()
//必须调用execute方法，否则程序不会执行
environment.execute("count avg")

}
}

/**ProcessWindowFunction 需要跟四个参数

输入参数类型，输出参数类型，聚合的key的类型，window的下界

*/
class MyProcessWindowFunctionclass extends ProcessWindowFunction[(Int , Int) , Double , Tuple , GlobalWindow]{
override def process(key: Tuple, context: Context, elements: Iterable[(Int, Int)], out: Collector[Double]): Unit = {
var totalNum = 0;
var countNum = 0;
for(data <- elements){
totalNum +=1
countNum += data._2
}
out.collect(countNum/totalNum)
}
}

4、Flink的Time三兄弟
前面我们已经介绍过我们可以通过window窗口来统计每一段时间或者每多少条数据的一些数值统计，但是也存在另外一个问题，就是如果数据有延迟该如何解决，例如一个窗口定义的是每隔五分钟统计一次，我们应该在上午九点至九点零五分这段时间统计一次数据的结果值，但是由于某一条数据由于网络延迟，数据产生时间是在九点零三分，数据到达我们的flink框架已经是在十点零三分了，这种问题怎么解决？？
再例如：
原始日志如下：
日志自带时间
2018-10-10 10:00:01,134 INFO executor.Executor: Finished task in state 0.0
数据进入flink框架时间：
这条数据进入Flink的时间是2018-10-10 20:00:00,102
数据被window窗口处理时间：
到达window处理的时间为2018-10-10 20:00:01,100
为了解决这个问题，flink在实时处理当中，对数据当中的时间规划为以下三个类型
针对stream数据中的时间，可以分为以下三种
 Event Time：事件产生的时间，它通常由事件中的时间戳描述。
 Ingestion time：事件进入Flink的时间
 Processing Time：事件被处理时当前系统的时间

1、EventTime详解
EventTime
1.事件生成时的时间，在进入Flink之前就已经存在，可以从event的字段中抽取。
2.必须指定watermarks（水位线）的生成方式。
3.优势：确定性，乱序、延时、或者数据重放等情况，都能给出正确的结果
4.弱点：处理无序事件时性能和延迟受到影响
2、IngestTime
1.事件进入flink的时间，即在source里获取的当前系统的时间，后续操作统一使用该时间。
2.不需要指定watermarks的生成方式(自动生成)
3.弱点：不能处理无序事件和延迟数据
3、ProcessingTime
1.执行操作的机器的当前系统时间(每个算子都不一样)
2.不需要流和机器之间的协调
3.优势：最佳的性能和最低的延迟
4.弱点：不确定性，容易受到各种因素影像(event产生的速度、到达flink的速度、在算子之间传输速度等)，压根就不管顺序和延迟

4、三种时间的综合比较
性能： ProcessingTime> IngestTime> EventTime
延迟： ProcessingTime< IngestTime< EventTime
确定性： EventTime> IngestTime> ProcessingTime

5、如何设置time类型
在我们创建StreamExecutionEnvironment的时候可以设置time类型，不设置time类型，默认是processingTime，如果设置time类型为eventTime，那么必须要在我们的source之后明确指定Timestamp Assigner & Watermark Generator
// 设置时间特性
val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
// 不设置Time 类型，默认是processingTime。
// 如果使用EventTime则需要在source之后明确指定Timestamp Assigner & Watermark Generator
environment.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime)

Flink的window和Time详解

你可能感兴趣的:(Flink的window和Time详解)