Flink 常用的 DataSet 和 DataStream API

现状
在前面的课程中，曾经提到过，Flink 很重要的一个特点是“流批一体”，然而事实上 Flink 并没有完全做到所谓的“流批一体”，即编写一套代码，可以同时支持流式计算场景和批量计算的场景。目前截止 1.10 版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。

DateSet 和 DataStream 的区别和联系
在官网或者其他网站上，都可以找到目前 Flink 支持两套 API 和一些应用场景，但大都缺少了“为什么”这样的思考。

Apache Flink 在诞生之初的设计哲学是：用同一个引擎支持多种形式的计算，包括批处理、流处理和机器学习等。尤其是在流式计算方面，Flink 实现了计算引擎级别的流批一体。那么对于普通开发者而言，如果使用原生的 Flink ，直接的感受还是要编写两套代码。

整体架构如下图所示：

在 Flink 的源代码中，我们可以在 flink-java 这个模块中找到所有关于 DataSet 的核心类，DataStream 的核心实现类则在 flink-streaming-java 这个模块。

在上述两张图中，我们分别打开 DataSet 和 DataStream 这两个类，可以发现，二者支持的 API 都非常丰富且十分类似，比如常用的 map、filter、join 等常见的 transformation 函数。

我们在前面的课时中讲过 Flink 的编程模型，对于 DataSet 而言，Source 部分来源于文件、表或者 Java 集合；而 DataStream 的 Source 部分则一般是消息中间件比如 Kafka 等。

由于 Flink DataSet 和 DataStream API 的高度相似，并且 Flink 在实时计算领域中应用的更为广泛。所以下面我们详细讲解 DataStream API 的使用。

DataStream
我们先来回顾一下 Flink 的编程模型，在之前的课时中提到过，Flink 程序的基础构建模块是流（Streams）和转换（Transformations），每一个数据流起始于一个或多个 Source，并终止于一个或多个 Sink。数据流类似于有向无环图（DAG）。

在第 02 课时中模仿了一个流式计算环境，我们选择监听一个本地的 Socket 端口，并且使用 Flink 中的滚动窗口，每 5 秒打印一次计算结果。

自定义实时数据源
在本课时中，我们利用 Flink 提供的自定义 Source 功能来实现一个自定义的实时数据源，具体实现如下：

public class MyStreamingSource implements SourceFunction {

private boolean isRunning = true;

/**
 * 重写run方法产生一个源源不断的数据发送源
 * @param ctx
 * @throws Exception
 */
@Override
public void run(SourceContext ctx) throws Exception {
    while(isRunning){
        Item item = generateItem();
        ctx.collect(item);

        //每秒产生一条数据
        Thread.sleep(1000);
    }
}
@Override
public void cancel() {
    isRunning = false;
}

//随机产生一条商品数据
private Item generateItem(){
    int i = new Random().nextInt(100);

    Item item = new Item();
    item.setName("name" + i);
    item.setId(i);
    return item;
}

class Item{
    private String name;
    private Integer id;

    Item() {
    }

    public String getName() {
        return name;
    }

    void setName(String name) {
        this.name = name;
    }

    private Integer getId() {
        return id;
    }

    void setId(Integer id) {
        this.id = id;
    }

    @Override
    public String toString() {
        return "Item{" +
                "name='" + name + '\'' +
                ", id=" + id +
                '}';
    }
}

}

class StreamingDemo {
public static void main(String[] args) throws Exception {

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    //获取数据源
    DataStreamSource text = 
    //注意：并行度设置为1,我们会在后面的课程中详细讲解并行度
    env.addSource(new MyStreamingSource()).setParallelism(1); 
    DataStream item = text.map(
            (MapFunction) value -> value);

    //打印结果
    item.print().setParallelism(1);
    String jobName = "user defined streaming source";
    env.execute(jobName);
}

}
在自定义的数据源中，实现了 Flink 中的 SourceFunction 接口，同时实现了其中的 run 方法，在 run 方法中每隔一秒钟随机发送一个自定义的 Item。

可以直接运行 main 方法来进行测试：

可以在控制台中看到，已经有源源不断地数据开始输出。下面我们就用自定义的实时数据源来演示 DataStream API 的使用。

Map
Map 接受一个元素作为输入，并且根据开发者自定义的逻辑处理后输出。

class StreamingDemo {
public static void main(String[] args) throws Exception {

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    //获取数据源
    DataStreamSource items = env.addSource(new MyStreamingSource()).setParallelism(1); 
    //Map
    SingleOutputStreamOperator