flink的侧输出(sideoutput)和OutputTag

背景

    用flink做数据处理的时候,我们经常会想要将数据分成几类处理,或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务,避免重复处理数据。

    这种需求,使用sideoutput完美解决。建议直接看官方文档就好了:https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html

    官方github示例:https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/sideoutput/SideOutputExample.java

小细节

    我们会发现OutputTag在实例化的时候是使用了匿名内部类。这个时候很容易一脸问号,为什么要用匿名内部类?后边加了两个大括号,啥都没干。。。

private static final OutputTag rejectedWordsTag = new OutputTag("rejected") {};

    其实这个是有用的,OutputTag有两个构造函数,当前用的这个构造函数只有一个参数,传入一个string,用来标识分流的数据是什么含义;另一个构造函数还可以传入一个TypeInformation对象,这个是用来说明分流的数据是什么类型的。

    使用单参数的构造函数,flink会自动推测TypeInformation,但是OutputTag带了泛型,在编译的时候会丢失这个信息,所以只能生成匿名内部类把泛型里的信息带上(推测,未验证)

 

 

你可能感兴趣的:(flink,flink,sideoutput,OutputTag)