大数据的基石Hadoop生态圈——核心组成及解释

大数据的基石Hadoop生态圈——核心组成

1、数据收集层：Flume、Sqoop、ython

2、数据存储层：HDFS

3、数据处理层：Hive、Spark、MapReduce、Storm

4、数据缓冲层：Kafka、Hbase、Elasticsearch、Redis

5、智能分析层：SVM、PageRank、K-Means、KNN

6、数据展现层：Echarts、JSP、JS、EasyUI

---

还有个重要的工具Flink，据说2.0版本的可以实现多层次的功能

============
1、
数据收集层：就是CDC，change data capture,即变化数据捕捉。是数据库进行备份的一种方式,常用于大量数据的备份工作。分为入侵式的和非侵入的比如阿里DataX就是依赖在原表中建立更新标记字段捕捉，而非侵入的是同步日志的方式，类似MySQL主从原理

===========
2、
数据存储层HDFS，分布式文件系统，将数据分块存储，支持并行计算后归集聚合，原理类似归并算法

先从HDFS开始，我将逐个记录架构搭建及使用。
HDFS作为大数据处理的存储层，其架构有3种：
singleNode单节点
伪分布式架构
HA高可用架构

【未完成，但时间仓促先发布，以后完善】