什么是大数据？必看》》形象描述大数据技术生态圈

一、大数据在线分析处理和常用工具

1、大数据在线分析和处理特点：

* 数据源源不断到来；

* 数据需要尽快处理，不能积压；

* 处理后的数据依然是TB或PB级的数据量；

* 处理结果尽快展现；

总结为：数据的收集-——数据传输——数据处理——数据展现（可视化），其中，数据处理一般涉及数据的聚合，数据处理和数据展现能够在秒级得到响应。

2、工具：

（1） flume 主要用于数据的收集和传输。类似的大数据开源系统有 Logstash和Fluentd。

三者区别：

* Logstash主要和Elasticsearch、Kibana结合使用，即ELK框架；Logstash主要负责将数据源的数据转换成Elasticsearch认识的索引结构供Kibana查询。

* Fluentd逐渐被Flume代替。

* Flume能够支持多种数据源，并且输出到多种输出源，支持多种格式的数据。

Flume的架构主要有一下几个核心概念：

Event：一个数据单元，带有一个可选的消息头

Flow：Event从源点到达目的点的迁移的抽象

Client：操作位于源点处的Event，将其发送到Flume Agent

Agent：一个独立的Flume进程，包含组件Source、Channel、Sink

Source：用来消费传递到该组件的Event。连接的输入源可以有Avro、Thrift、Exec(Unix command output)、JMS(Java Message Service)、Kafka、NetCat(可以使用nc -lk port 测试)、Syslog.....

Channel：中转Event的一个临时存储，flume内部数据传输通道，保存有Source组件传递过来的Event。主要包括Memory Channel和File Channel。

Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）。连接的输出源可以有Hdfs、Hive、Avro、Thrift、File Roll 、Hbase、Kafka......

Flume NG架构：

多个Agent连接形成Agent链：

多个Agent进行数据源的合并：

多路Agent:

实现load balance功能：

（2）kafka 主要用于前端日志的存储，用作缓冲

（3）Storm /Spark 专注于将数据按照时间窗口进行聚合处理，被称为流式处理框架。

* Storm提供比Spark更加实时的流式处理；

* Spark提供比Storm更多的服务，Spark 已经形成类似Hadoop的生态圈。

Spark 生态圈如下所示：

目前，Spark 有三种集群管理模式：

* Standalone ：一种简单的集群管理，其包括一个很容易搭建集群的Spark;

* Apache Mesos：一种通用的集群管理模式，可以运行Hadoop Mapreduce和服务应用的模式；

* Hadoop YARN ： Hadoop 2.0中的资源管理模式；

（4）Hbase /Redis 提供大数据存储和提供查询。类似的大数据开源系统有Cassandra.

* Cassandra 满足可用性和分区容忍性，允许数据的不一致（不同的客户端可能看到不一样的情况），提供了类似SQL的CQL查询语言，查询方便；

* Hbase 满足一致性和分区容忍性，拥有强大的记录一致性，但是不支持SQL，需要使用第三方服务来支持SQL（如 Apache Phoenix）;

未完待续。。。。

未完待续。。。。