Flink Operator之CoGroup、Join以及Connect

在Flink中由很多Operator，大致分为两类，DataStream和DataSet（还有高层的Table&SQL API），即流处理数据和批处理数据，这篇文章主要讲解CoGroup、Join和Connect的使用，之所以将它们放在一起是因为它们比较相似，但也有所不同，在DataStream和DataSet中都存在CoGroup、Join这两个Operator，而Connect只适用于处理DataStream，下面我们将分别讲述。

一、CoGroup

该操作是将两个数据流/集合按照key进行group，然后将相同key的数据进行处理，但是它和join操作稍有区别，它在一个流/数据集中没有找到与另一个匹配的数据还是会输出。

1.在DataStream中

1. 侧重与group，对同一个key上的两组集合进行操作。
2. 如果在一个流中没有找到与另一个流的window中匹配的数据，任何输出结果，即只输出一个流的数据。
3. 仅能使用在window中。

下面看一个简单的例子，这个例子中从两个不同的端口来读取数据，模拟两个流，我们使用CoGroup来处理这两个数据流，观察输出结果：

public class CogroupFunctionDemo02 {


    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment();

        DataStream> input1=env.socketTextStream("192.168.217.110",9002)
                .map(new MapFunction>() {

                    @Override
                    public Tuple2 map(String s) throws Exception {

                        return Tuple2.of(s.split(" ")[0],s.split(" ")[1]);
                    }
                });

        DataStream> input2=env.socketTextStream("192.168.217.110",9001)
                .map(new MapFunction>() {

                    @Override
                    public Tuple2 map(String s) throws Exception {

                        return Tuple2.of(s.split(" ")[0],s.split(" ")[1]);
                    }
                });

        input1.coGroup(input2)
                .where(new KeySelector, Object>() {

                    @Override
                    public Object getKey(Tuple2 value) throws Exception {
                        return value.f0;
                    }
                }).equalTo(new KeySelector, Object>() {

            @Override
            public Object getKey(Tuple2 value) throws Exception {
                return value.f0;
            }
        }).window(ProcessingTimeSessionWindows.withGap(Time.seconds(3)))
                .trigger(CountTrigger.of(1))
                .apply(new CoGroupFunction, Tuple2, Object>() {

                    @Override
                    public void coGroup(Iterable> iterable, Iterable> iterable1, Collector