第二章：大数据处理架构Hadoop

本章内容：
1.Hadoop的发展历程
2.Hadoop生态系统的各个组件及其功能
3.Hadoop的安装和使用方法
4.Hadoop集群的部署和使用方法

1.Hadoop简介
Hadoop是Apache软件基金会旗下开源软件
Hadoop可以支持多种编程语言：C、C++、Java、Python

Hadoop两大核心—HDFS+MapReduce:
解决了两大问题：HDFS如何实现海量数据的存储（集群分布式存储），MapReduce如何实现海量数据的处理（集群分布处理）

2003年，谷歌发布了分布式文件系统GFS（Google File System）。HDFS是GFS的开源实现
2004年，谷歌发布了分布式并行编程框架MapReduce。

对1TB的数据进行排序，用时209秒

Hadoop的特性：
1.Hadoop具有很高的可靠性：多台机器构成集群，部分机器发生故障，剩余机器可以继续对外提供服务
2.Hadoop具有很高的效率：成百上千台机器一起计算
3.Hadoop具有很好的可扩展性：可以不断往集群中增加机器
4.Hadoop成本低：Hadoop可以采用普通PC机来构成一个集群
5.高性能计算（High Performance Computing 编写HPC）

Hadoop应用现状
Facebook公司采用Hadoop集群用于日志处理、推荐系统和数据仓库等方面

2.Hadoop不同的版本

Hadoop1.0两大核心：HDFS+MapReduce

到2.0以后，MapReduce只做数据处理工作，不再做资源调度。MapReduce是架构在YARN资源调度之上的。

学生Apach、企业Hortonworks,星环

3.Hadoop项目结构

YARN负责对内存、CPU、资源、带宽资源进行调度
Spark与MapReduce的区别：
Spark是基于内存的；MapReduce是基于磁盘的
Hive是数据仓库方面的。可用于企业数据分析。




4.Hadoop集群的部署和使用












Hadoop不仅可以在本地使用也可以部署到云端