Hadoop2.0产生背景

Hadoop与Hadoop生态系统的区别

Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；

Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可能更窄），不是一个全能系统而是小而精的多个小系统；

 

Hadoop1.x中存在的问题

Hadoop1.x中HDFS和MapReduce在高可用、扩展性等方面均存在不同程度上的问题：

HDFS存在的问题：

　　1、NameNode存在单点故障，影响生产环境真正使用；

　　2、NameNode压力大，且内存受限，影响系统扩展性；

　　　　压力大：因为只有一个NameNode，所有的请求都要经过它；

　　　　内存受限：因为只有一个NameNode，所有元数据信息都要保存在NameNode上；

MapReduce存在的问题：

　　1、JobTracker单点故障；

　　2、JobTracker访问压力大，影响系统扩展性；

　　3、难以支持除MapReduce之外的计算框架（如：Spark、Storm等）；

 

基于Hadoop1.x中存在的如上问题，催生了Hadoop2的产生；