Flink-ProcessFunction API（底层API）的简介，KeyedProcessFunction实例、TimerService 和 定时器（Timers）及监控10秒内持续上升温度应用

ProcessFunction API（底层API）

1. 一般得转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。
2. 基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，Flink SQL就是使用Process Function实现的。
3. Flink提供了8个Process Function：

•	ProcessFunction
•	KeyedProcessFunction
•	CoProcessFunction
•	ProcessJoinFunction
•	BroadcastProcessFunction
•	KeyedBroadcastProcessFunction
•	ProcessWindowFunction
•	ProcessAllWindowFunction

KeyedProcessFunction

KeyedProcessFunction用来操作KeyedStream。KeyedProcessFunction会处理流的每一个元素，输出为0个、1个或者多个元素。所有的Process Function都继承自RichFunction接口，所以都有open()、close()和getRuntimeContext()等方法。而KeyedProcessFunction[KEY, IN, OUT]还额外提供了两个方法:

1. processElement(v: IN, ctx: Context, out: Collector[OUT]), 流中的每一个元素都会调用这个方法，调用结果将会放在Collector数据类型中输出。Context可以访问元素的时间戳，元素的key，以及TimerService时间服务。Context还可以将结果输出到别的流(side outputs)。
2. onTimer(timestamp: Long, ctx: OnTimerContext, out: Collector[OUT])是一个回调函数。当之前注册的定时器触发时调用。参数timestamp为定时器所设定的触发的时间戳。Collector为输出结果的集合。OnTimerContext和processElement的Context参数一样，提供了上下文的一些信息，例如定时器触发的时间信息(事件时间或者处理时间)。

TimerService 和 定时器（Timers）

Context和OnTimerContext所持有的TimerService对象拥有以下方法:

1. currentProcessingTime(): Long 返回当前处理时间
2. currentWatermark(): Long 返回当前watermark的时间戳
3. registerProcessingTimeTimer(timestamp: Long): Unit 会注册当前key的processing time的定时器。当processing time到达定时时间时，触发timer。
4. registerEventTimeTimer(timestamp: Long): Unit 会注册当前key的event time 定时器。当水位线大于等于定时器注册的时间时，触发定时器执行回调函数。
5. deleteProcessingTimeTimer(timestamp: Long): Unit 删除之前注册处理时间定时器。如果没有这个时间戳的定时器，则不执行。
6. deleteEventTimeTimer(timestamp: Long): Unit 删除之前注册的事件时间定时器，如果没有此时间戳的定时器，则不执行。

当定时器timer触发时，会执行回调函数onTimer()。注意定时器timer只能在keyed streams上面使用。

用processFunction写一个小需求

监控温度传感器的温度值，如果温度值在10秒钟之内(processing time)连续上升，则报警(未测试)

import com.atguigu.bean.SensorReading
import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}
import org.apache.flink.api.java.tuple.Tuple
import org.apache.flink.streaming.api.functions.KeyedProcessFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.util.Collector

object TempIncreWarningTest {
  def main(args: Array[String]): Unit = {
    def main(args: Array[String]): Unit = {
      val env = StreamExecutionEnvironment.getExecutionEnvironment
      env.setParallelism(1)

      val inputDStream: DataStream[String] = env.socketTextStream("hadoop102", 7777)

      val dataDstream: DataStream[SensorReading] = inputDStream.map(
        data => {
          val dataArray: Array[String] = data.split(",")
          SensorReading(dataArray(0), dataArray(1).toLong, dataArray(2).toDouble)
        })

      val resultDStrem: DataStream[String] = dataDstream
        .keyBy( _.id )
        .process( TempIncreWarning(10000L) )

      dataDstream.print("data")
      resultDStrem.print("result")

      env.execute("stateBackendsApp test job")
    }
  }
}

/**
 * 自定义Process Function，检测10秒之内温度连续上升
 */
case class TempIncreWarning(interval: Long) extends KeyedProcessFunction[String, SensorReading, String]{

  // 定义一个ValueState，用来保存上一次的温度值
  lazy val lastTempState: ValueState[Double] = getRuntimeContext.getState( new ValueStateDescriptor[Double]("last-temp", classOf[Double]) )
  // 定义一个状态，用来保存设置的定时器时间戳
  lazy val curTimerState: ValueState[Long] = getRuntimeContext.getState( new ValueStateDescriptor[Long]("cur-timer", classOf[Long]) )

  override def processElement(value: SensorReading, ctx: KeyedProcessFunction[String, SensorReading, String]#Context, out: Collector[String]): Unit = {
    // 取出上一次温度值
    val lastTemp: Double = lastTempState.value()
    val curTimer: Long = curTimerState.value()

    // 更新温度值状态
    lastTempState.update(value.temperature)

    // 将当前的温度值，跟上次的比较
    if( value.temperature > lastTemp && curTimer == 0){
      // 如果温度上升，且没有注册过定时器，那么按当前时间加10s注册定时器
      val ts = ctx.timerService().currentProcessingTime() + interval
      // 注册一个当前key 且指定当前时间就触发得定时器
      ctx.timerService().registerProcessingTimeTimer(ts)
      curTimerState.update(ts)

    } else if( value.temperature < lastTemp ){
      // 如果温度下降，那么直接删除定时器，重新开始
      ctx.timerService().deleteProcessingTimeTimer(curTimer)
      curTimerState.clear()
    }

  }

  override def onTimer(timestamp: Long, ctx: KeyedProcessFunction[String, SensorReading, String]#OnTimerContext, out: Collector[String]): Unit = {
    out.collect( "传感器 " + ctx.getCurrentKey + " 的温度值连续" + interval / 1000 + "秒上升" )
    // 清空timer状态
    curTimerState.clear()
  }
}