Flink、Hive、Flume

Hive简介

Hive和数据库比较

由于Hive采用了类似SQL的查询语言HQL（Hive Query Language)，因此很容易将hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。

查询语言

由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以方便使用Hive进行开发。

数据更新

由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中 不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需 要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET 修 改数据。

执行延迟

Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导 致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟，因此 在利用 MapReduce 执行 Hive 查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。 当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。

数据规模

用于Hive建立在集群上并可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模大小。

Flink简介

Flink处理流数据！

Flink：是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算

Flink的主要特点

（1）时间驱动

（2）基于流的世界观

在Flink的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流；这就是所谓的有届流和无界流。

（3）分层API

越顶层越抽象，表达含义越简明，使用越方便

越底层越具体，表达能力越丰富，使用越灵活

Flink的其他特点

1）支持事件时间和处理时间语义。

2）精确一次的状态一致性保证。

3）低延迟，每秒处理数百万个事件，毫秒级延迟。

4）与众多用存储系统的连接。

5）高可用，动态扩展，实现7*24小时全天候运行。

Flink与Spark Streaming做比较

流（stream）和微批（micro-batching）

数据模型

-spark采用RDD模型，spark streaming的DStream实际上也就是一组组小批数据RDD的集合

-flink基本数据模型是数据流，以及事件序列

运行时架构

-spark是批计算，将DAG划分为不同的stage，一个完成后才可以计算下一个

-flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点进行处理

Flume简介

Flume是一个分布式的、可靠的、可用的系统，用于有效地从许多不同的源收集、聚集和移动大量的日志数据到一个集中的数据存储。Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume可用于传输大量的事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息和几乎任何可能的顶级项目。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志收集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

数据处理：Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统），支持TCP和UDP等2种模式，exec（命令执行）等数据源上收集数据的能力。

工作方式：Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。

Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据由不同的工作线程处理（称为 Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。

优势

1、Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase。

2、当收集数据的速度超过写入数据的时候，也就是当收集消息遇到峰值时，这时候收集的消息非常大，甚至超过了系统的写入数据能力，这时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据。

3、提供上下文路由特征。

4、Flume的管道是基于事务，保证了数据在传送和接收时的一致性。

5、Flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的。

特征

1. Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中

2. 使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中

3. 除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook,twitter,电商网站如亚马逊，flipkart等

4. 支持各种接入资源数据的类型以及接出数据类型

5. 支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等

6. 可以被水平扩展