Flink ProcessFunction详解

前言

• 我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。
• 基于此，DataStreamAPI提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。ProcessFunction用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，Flink SQL就是使用Process Function实现的。

Flink Process Function

针对不同得流F1ink提供了8个Process Function

• ProcessFunction ：最原始，自定义程度高，什么都能做
• KeyedProcessFunction：keyby后使用得process中传入得Process Function
• CoProcessFunction：connect后使用得process中传入得Process Function
• ProcessJoinFunction：两条流Join连接后使用得process中传入得Process Function
• BroadcastProcessFunction：广播流使用得process中传入得Process Function
• KeyedBroadcastProcessFunction：keyby广播流使用得process中传入得Process Function
• ProcessWindowFunction：开窗后使用得process中传入得Process Function
• ProcessAllWindowFunction：AllWindow后使用得process中传入得Process Function

Process Function

• processElement(v: IN, ctx: Context, out: Collector[OUT]),流中的每一个元素都会调用这个方法，调用结果将会放在Collector 数据类型中输出。Context可以访问元素的时间戳，元素的key,以及TimerService时间服务。Context还可以将结果输出到别的流(sideoutputs)。

• onTimer(timestamp: Long, ctx: OnTimerContext, out: Collector[OUT])是一个回调函数。当之前注册的定时器触发时调用。参数timestamp为定时器所设定的触发的时间戳。Collector 为输出结果的集合。OnTimerContext和processElement的Context参数一样，提供了上下文的一些信息，例如定时器触发的时间信息(事件时间或者处理时间)。

使用示例

/**********************************简单使用proceess实现测输出流的功能*********************************************/
import Source.WaterSensor
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.ProcessFunction
import org.apache.flink.streaming.api.scala._ 
import org.apache.flink.util.Collector

object ProcessFunction {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    env.setParallelism(1)
    //获取端口传入的数据
    val Stream: DataStream[String] = env.socketTextStream("192.168.**.**", 7777)
	//使用Process，创建SlipeProcessFunction类，并传入默认值
    val data: DataStream[Int] = Stream.process(new SlipeTmpProcess(30.0))
	//主流输出hige
    data.print("hige")
    //测输出流输出low
    data.getSideOutput(new OutputTag[String]("low")).print("low")

    env.execute()
  }
}

//实现SlipeTmpProcess 继承ProcessFunction，设置传入数据类型为Int,输出数据类型为String
class SlipeTmpProcess(d: Double) extends ProcessFunction[Int,String]{
  override def processElement(value: Int, ctx: ProcessFunction[Int, String]#Context, out: Collector[String]): Unit = {
    //当接收的数据大于默认值30时属于高的
    if (value.vc>d){
      out.collect("当前数值高于默认值")
    }else{
      //不满足条件的数据输入到测输出流
      //调用output方法
      ctx.output(new OutputTag[WaterSensor]("low"),"当前数值低于默认值")
    }
  }
}

KeyedProcessFunction

这里我们重点介绍KeyedProcessFunction.
KeyedProcessFunction用来操作KeyedStream。KeyedProcessFunction会处理流的每一个元素，输出为0个、1个或者多个元素。所有的Process Function都继承自RichFunction接口，所以都有open()、close()和getRuntimeContext0等方法。而KeyedProcessFunction[KEY, IN, OUT]还额外提供了两个方法:

代码示例

//**************************这个示例模拟接收一个温度传感器得数据进行监控温度数据并作出反应*****************************
import Source.WaterSensor
import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.KeyedProcessFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.util.Collector

//定义样例类
case class WaterSensor(id:String,ts:Long,vc:Double)
object ProcessTest {
  def main(args: Array[String]): Unit = {
  //创建流处理执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //使用事件发生时间
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    //设置并行度为1
    env.setParallelism(1)
    //设置一个端口作为数据源
    val Stream: DataStream[String] = env.socketTextStream("192.168.**.**",7777)
	//将获取得数据转换成watersensor类型
    val dataStream: DataStream[WaterSensor] = Stream.map(data => {
      val strings: Array[String] = data.split(",")
      WaterSensor(strings(0), strings(1).toLong, strings(2).toDouble)
    })
	//先分区在process，自定义实现KeyedProcessFunction
    val value: DataStream[String] = dataStream.keyBy(_.id).process(new KPF)
	//输出数据
    value.print("data")

    env.execute()
  }
}
//实现自定义KeyeedProcessFunction
class KPF extends KeyedProcessFunction[String,WaterSensor,String]{
  //定义waterState状态，来保存当前接收到的WayerSensor
  var waterState:ValueState[WaterSensor]=_
  //定义currentState保存创建的定时器的时间值
  var currentState:ValueState[Long]=_
  //设置生命周期
  override def open(parameters: Configuration): Unit = {
    //初始化
    waterState=getRuntimeContext.getState(new ValueStateDescriptor[WaterSensor]("watersensor",classOf[WaterSensor]))
    currentState=getRuntimeContext.getState(new ValueStateDescriptor[Long]("current",classOf[Long]))
  }
	
  override def processElement(value: WaterSensor, ctx: KeyedProcessFunction[String, WaterSensor, String]#Context, out: Collector[String]): Unit = {
    //如果当前是第一次接收到数据，就直接传入watersensor状态值
    if(waterState.value()==null){
      println("初始化watersoner")
      waterState.update(value)
    }else{//否则判度当前获取得数据是否比上一次得温度值高
      //当传感器温度上升时，创建一个10秒后执行的定时器
      if(value.vc>waterSensor.value().vc && currentState.value()==0){
        //获取当前数据处理时间并加上10000毫秒作为定时器执行时间
        val timeTS:Long=ctx.timerService().currentProcessingTime()+10000L
        //创建定时器
        ctx.timerService().registerProcessingTimeTimer(timeTS)
        println("已创建定时器")
        //保存定时器执行时间
        currentState.update(timeTS)
        //当在10秒内读取到温度下降的值，解除定时器
      }else if(value.vc<waterState.value().vc){
        //根据定时器的时间，删除执行对应定时器
        ctx.timerService().deleteProcessingTimeTimer(currentState.value())
        //清空初始化
        currentState.clear()
      }

      //将每次传入的数据保存下来
      println("正在更新waterSensor")
      waterState.update(value)
    }
  }
  //实现opTime
  override def onTimer(timestamp: Long, ctx: KeyedProcessFunction[String, WaterSensor, String]#OnTimerContext, out: Collector[String]): Unit = {
    //当定时器发生时返回输出内容
    out.collect("警告！"+"传感器ID:"+waterState.value().id+"\t检测到温度持续上升！当前温度"+waterState.value().vc)
    currentState.clear()
  }
}