大数据的4代计算引擎

概述

    在如今数据爆炸的时代，企业的数据量与日俱增，大数据产品层出不穷。

    出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。

大数据的计算引擎分代

 

 

    第一代： Hadoop 承载的 MapReduce。

    这里大家应该都不会对 MapReduce 陌生，它将计算分为两个阶段，分别为 Map 和 Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在上层应用实现多个 Job 的串联，以完成一个完整的算法，例如迭代计算。

    第二代： 支持DAG框架的计算引擎

    由于这样的弊端，催生了支持 DAG 框架的产生。因此，支持 DAG 的框架被划分为第二代计算引擎。如 Tez 以及更上层的 Oozie。这里我们不去细究各种 DAG 实现之间的区别，不过对于当时的 Tez 和 Oozie 来说，大多还是批处理的任务。

    第三代： 内置DAG的支持

    接下来就是以 Spark 为代表的第三代的计算引擎。第三代计算引擎的特点主要是 Job 内部的 DAG 支持（不跨越 Job），以及强调的实时计算。在这里，很多人也会认为第三代计算引擎也能够很好的运行批处理的 Job。

    随着第三代计算引擎的出现，促进了上层应用快速发展，例如各种迭代计算的性能以及对流计算和 SQL 等的支持。

    第四代：大数据统一计算引擎

    “Flink是一个大数据量处理的统一的引擎”。这个“统一的引擎”包括流处理、批处理、AI、MachineLearning、图计算等等。

    Flink 的诞生就被归在了第四代。这应该主要表现在 Flink 对流计算的支持，以及更一步的实时性上面。当然 Flink 也可以支持 Batch 的任务，以及 DAG 的运算。

    或许会有人不同意以上的分类，我觉得其实这并不重要的，重要的是体会各个框架的差异，以及更适合的场景。并进行理解，没有哪一个框架可以完美的支持所有的场景，也就不可能有任何一个框架能完全取代另一个，就像 Spark 没有完全取代 Hadoop，当然 Flink 也不可能取代 Spark。本文将致力描述 Flink 的原理以及应用。

 

个人总结简易版：

1. 第1代——Hadoop MapReduce
          批处理
          Mapper、Reducer
2. 第2代——DAG框架（Tez） + MapReduce
          批处理
          1个Tez = MR(1) + MR(2) + ... + MR(n)
          相比MR效率有所提升
3. 第3代——Spark
          批处理、流处理、SQL高层API支持
          自带DAG
          内存迭代计算、性能较之前大幅提升
4. 第4代——Flink
          批处理、流处理、SQL高层API支持
          自带DAG
          流式计算性能更高、可靠性更高