Hadoop 概述

1. hadoop是什么？

1. Apache开源软件
2. 计算框架--》分布式、可靠、可伸缩（任何节点删除添加不会影响）
3. 搜索引擎、海量数据存储

2. hadoop解决了什么？

1. 海量数据存储
2. 数量级进制
3. 如何存储-》HDFS
4. 如何计算-》MapReduce

3. Hadoop核心组件之分布式文件系统HDFS

1. 源自于Google的GFS论文，沦为发表于2003年10月
2. HDFS是GFS的克隆版
3. HDFS特点：扩展性（集群扩展）&容错性（多副本的方式存储）&海量数据存储
4. 将文件切分成指定大小（默认128M）的数据库并以多副本的方式存储在多个机器上
5. 数据切分、多副本、容错等操作对用户是透明的

4. Hadoop核心组件之资源调度系统YARN

1. YARN：Yet Another Resource Negotiator(另一种资源协调者)
2. 负责整个集群资源的管理和调度（计算占用CPU，占用内存）

3. YARN特点：扩展性（添加机器）&容错性（对任务进行重试）&多框架资源统一调度（2.0以后添加：MR，Spark等）

   
   
   yarn.png

5. Hadoop核心组件之分布式计算框架MapReduce

1. 源自Google的MapReduce论文，论文发表于2004年12月
2. MapReduce是Google MapReduce的克隆版

3. MapReduce特点：扩展性&容错性&海量数量离线处理

   
   
   mr.png

6. Hadoop优势

1. 高可靠性

1. 数据存储：数据块多副本
2. 数据计算：重新调度计算

2. 高扩展性

1. 存储/计算资源不够时，可以横向的线性扩展机器
2. 一个集群中可以包含数以千计的节点

3. 其他

1. 存储在廉价机器上，降低成本
2. 成熟的生态圈

7. Hadoop的发展史

8. Hadoop的生态系统

1. 狭义的Hadoop: 是一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce）和资源调度（YARN）的平台；

2. 广义的Hadoop：指的是Hadoop的生态系统，Hadoop生态系统是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每一子系统只解决摸一个特定的问题域（甚至可能很窄），不搞统一型的一个全能系统，而是小而精的多个小系统。

   
   
   hadoop.png

9. Hadoop生态系统的特点

1. 开源、社区活跃
2. 囊括了大数据处理的方方面面
3. 成熟的生态圈

10. Hadoop常用发行版及选型

1. Apache Hadoop
2. CDH：Cloudera Distributed Hadoop
3. HDP：Hortonworks Data Platform

11. Hadoop企业应用案例之消费大数据