Flink 入门

写在前面的话

　　我会先假定你，在读这篇文章的时候，没有任何大数据处理基础，但懂一些编程概念以及 Java 语言基础。遇到一些数据处理问题，用现有方法可以解决，但总认为有一些通用的方案来做更合适，且听过 Spark, Storm, Flink 适合解决这个问题，又恰巧听说 Flink 比较先进，所以看到了这里。那么这篇文章是适合你的。

先讲数据处理

　　假如，我们有一批数据，假设是一个源源不断的数据流，每一条数据描述了一个日志，日志里有产生该日志的时间，以及访问某个站点的 ip 。再假设数据通道已建立，我们可以按条取得日志，且再写回去。
　　现在需求来了，直接显示 ip 不直观，我想知道，每条数据是电信网的 IP 还是移动网的 IP。这当然是个小事情，我们可以取出每一条日志，按规则判断出该 IP 属于什么类型网络，然后换 IP 这个字段转成网络类型再发出去。
　　但是产品的需求是随意时代变化的，突然一个产品经理说，我只想知道电信用户的数据，这些用户是我们的主要用户。处理也会简单，我们再写一个程序，把上一步写回的数据再取出来，判断一下类型，满足类型的再回写进去，不满足的丢掉。
　　这世界上的产品经理唯一不变的就是多变，他们又突然关心起，在 10 分钟之类的电信用户总数是多少。这是个迫切的问题，得解决，因此我们只好再写一个程序上线部署，它完成的主要工作简章描述是，把 10 分钟内的数据缓存起来，统计计数即可。仿佛功能更强大了。
　　但没人会在功能更强大的路上止步不前，新需求又来了，其它类型的用户也重要了起来，业务想知道，所有不同类型的用户，在 10 分钟以内的总数。世界突然变得复杂了，研发再也不法再开发更多的程序去支撑一个已补丁了多遍的系统。
　　

计算平台

　　其实上面的业务场景并不是某家公司的特例场景，它所要面对的问题是一个通用性问题，我们把它简化了一个统一模型，就是对一批流数据的处理，当然也会有对一批量数据的批处理。我们可以建一个通用的平台，把上面研发写的一个个程序当然模块算法串联起来，插入到平台上，而平台本身处理这些通用的计算，串起整条流，在合适的节点时机回调我们的算法，转换（map），过滤 (filter)，聚合(aggregation) 等，并且合适地处理好时间时机（time window），让我们可以心无旁骛地写好自己的处理逻辑，插进计算平台，整个计算平台就成为了我们数据处理程序。整个过程仿佛是个组装的过程，我们把这些插件信息都告知给计算平台，那么当一个平台掌握了所有的宏观信息后，它也能做出最优的优化，让这些数据处理事务能够以最高效的形式流转处理下去。
　　这样的平台有很多，如刚开始的 Hadoop 家族的 MapReduce，到后来 Spark, Storm 以至于现在的 Flink，它们所要解决的问题一直没变，但这些计算平台的设计思路却大不相同，把所有数据处理业务当作数据流呢，还是批处理呢，基于这些大致的划分思路，各家走了不同路线，这里提到的 Flink 是以流作为 Base 来设计的，它认为批处理是流处理的极端特列，即一整条流就是一批数据，一个大窗口，处理即可。并且还有人提出 “Life doesn’t happen in batches”。

Show you the code

　　如果我们编写上面的业务，能够向下面这样写就好：

Stream(“logs”).map(“地址分类”).keyBy(“地址类型”).window(10).count();

　　一行代码就搞定了整个流程，并且可以清晰地看到整个数据处理的过程，世界又明亮起来。当然真实的代码如下，其实和上面的伪代码是一致的。感觉一下吧。
　　

package org.henzox.flink;
/* * Created on: 2018/2/26. * Author: Heng Xiangzhong * * May the code be with you! */

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.aggregation.Aggregations;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class WordCount {

    private static class LineSplitter implements FlatMapFunction> {

        public void flatMap(String value, Collector> out) {
            String[] tokens = value.toLowerCase().split("\\W+");

            for (String token: tokens) {
                if (token.length() > 0) {
                    out.collect(new Tuple2(token, 1));
                }
            }
        }

    }

    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataSet text = env.fromElements(
            "To be, or not to be,--that is the question:--",
            "Whether 'tis nobler in the mind to suffer",
            "The slings and arrows of outrageous fortune",
            "Or to take arms against a sea of troubles,");

        DataSet> counts = text.flatMap(new LineSplitter()).groupBy(0).aggregate(Aggregations.SUM, 1);

        counts.writeAsCsv("D:\\Workspace\\Code\\Java\\output");
        //env.execute("Demo");
        System.out.println("=================================");
        System.out.print(env.getExecutionPlan());
    }
}

　　这篇文章没有教你如何搭建环境，旨在给一个初步印象，为什么会有 Flink，Flink 能帮我们做什么，关于 Flink 的特性及深入分析，不在本文范围内，可以先上手，再体会。