CDH4安装部署系列之三-服务器规划

1             Namenode规划说明：

由于Namenode非常重要，一旦丢失数据或停止工作，整个集群就不能恢复了，所以一般来说，Namenode单独安装在一台服务器上，且两个Namenode分开部署。由于ZKFC负责监控Namenode的状态信息，所以每一台Namenode上必须安装ZKFC

 

2             Journalnode规划说明：

由于Journalnode对系统资源消耗较少，一般Journalnode可以与别的服务搭建在一起。Journalnode必须至少3个节点。当然可以运行更多，最好是部署奇数个，偶数个不是不可以，但是Journalnode集群是以宕机个数过半才会让整个集群宕机的，所以奇数个更佳。如3、5、7、9个等等。部署的越多，可靠性就越高。

 

3             Datanode规划说明：

除Namenode和Journalnode节点外，集群中的所有其他节点安装datanode。由于Datanode负责数据库的存储和读写，因此Datanode越多，集群的效率越高

 

4             Yarn（ResourceManager+NodeManager+MapReduce）规划说明：

ResourceManager：

每个Cluster拥有一个Resource Manager。ResourceManager负责作业与资源的调度。接收JobSubmitter提交的作业，按照作业的上下文(Context)信息，以及从NodeManager收集来的状态信息，启动调度过程，分配一个Container作为App Mstr。

因此ResourceManager的任务相当繁重，需要消耗大量的系统资源，一般建议ResourceManager单独部署在一台服务器上面

 

NodeManager和MapReduce：

负责Container状态的维护，并向RM保持心跳。每个Slave Node则运行一个NodeManager，来监控和管理该节点上的资源使用情况。在运行Job的时候，和MRv1相似，每个Slave Node运行Map和/或者Reduce Task。对应每个Job(application)，有一个Application Master(运行在某个Slave Node上)，负责管理application的生命周期，向resource manager申请资源，以及监控task的状态等(譬如重启出错任务)。

因此每个Datanode节点上运行一个NodeManager和一个MapReduce

 

5             Zookeeper规划说明:

考虑到Zookeeper集群的需要的资源不是很多，一般都建议将ZK节点和别的服务部署在同一个机器上。Zookeeper必须至少3个节点。当然可以运行更多，最好是部署奇数个，偶数个不是不可以的，但是Zookeeper集群是以宕机个数过半才会让整个集群宕机的，所以奇数个更佳。如3、5、7、9个等等。部署的越多，可靠性就越高。