hadoop概述（1.2）

一、Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。

二、三大论文

由google发布的3大论文，被hadoop使用，形成了hadoop的主要的框架。
GFS —>HDFS
Map-Reduce —>MR
BigTable —>Hbase

三、hadoop三大发行版本

1、apache原始版本，安装比较繁琐。
2、cloudrea企业用的比较多，能够兼容各个组件，安装简单
3、Hortonworks

四、hadoop的优势

1、高可靠性：多数据副本，可恢复
2、高扩展性：动态方便扩展
3、高效性：分而治之
4、高容错性：任务失败重新分配

五、hadoop组成

1、hadoop1.x：HDFS、MapReduce（资源管理、计算）
2、Hadoop2.x：HDFS、MapReduce（计算）、yarn（资源调度：内存、cpu）

六、hdfs架构初步了解

1、nameNode：存储元数据：文件目录架构、文件名、文件属性（生成时间、副本数、文件权限）、文件块列表和块的地址。
2、dataNode：存储数据本身，以及数据的校验和
3、second nameNode：监控nameNode的状态，辅助恢复namenode

七、yarn架构

1、resourcemanager：处理客户端请求，启动/监控appmaster，监控nodemanager，资源分配和调度
2、nodemanager：单个节点上的资源管理，处理来自resourcemanageer的命令、处理来自appmaster的命令。
3、app master：数据切分，为应用程序申请资源，并分配给内部任务、任务监控与容错
4、container：对任务运行环境的抽象，封装了CPU，内存等多维资源以及环境变量、启动命令等任务运行相关信息。

八、MapReduce架构

1、Map：数据切割，数据处理
2、Reduce：数据汇总

九、大数据生态圈