大数据搭建集群规模

大数据搭建集群规模，我们需要在正式搭建集群之前，需要准备好，即是计划集群的规模情况，否则后面容易出麻烦。

如：

服务器为一台128G内存华为服务器

硬盘raid0之后为14T。

安装Esxi6.0系统。

服务器一台，内存128G，10C，安装windows操作系统

服务器规划：

  服务器安装ESXI5.5,虚拟出4台centos6.5服务器，3台内存32G，2C，用于搭建大数据环境；另1台内存16G，2C，安装Oracle，mysql，Tomcat等软件作为应用服务器。

具体举例：

1.整体规模分配

　　2台（Namenode HA，Resourcemanager HA，Hmaster HA）

　　10台（Datanode，nodemanager，journalnode，Regionserver）

　　1台（hive，sqoop，oozie，hue）

　　3台（zookeeper）

2.内存以及cpu分配

　　cpu：

　　　　32-64核

　　内存：

　　　　64-128G

3.具体分配

　　Namenode：16G

　　Resourcemanager：2G

　　Hmaster：2G

　　----------------------------------------------20G

　　Datanode：1G

　　nodemanager：1G

　　journalnode:1G

　　Regionserver:16G

　　----------------------------------------------20G

　　hive，sqoop，oozie，hue:1G

　　-----------------------------------------------1G

　　ZK:2G

　　　　要求磁盘读写更快

　　-----------------------------------------------2G

　　yarn：

　　　　）yarn.nodemanager.resource.memory-mb：8192
　　　　给定的是每个NM节点，任务运行允许分配的内存大小，工作中一般都会改大, 16*1024 或 24*1024

　　　　）yarn.nodemanager.resource.cpu-vcores：8
　　　　给定的是每个NM节点，任务运行允许分配的CPU大小，必须和memory-mb转换为GB一样的值一样，工作中一般都会改大, 16 或 24

4.网络配置

　　万兆

　　千兆：这时，瓶颈出现在网络上

5.数据量规划

　　1~3千万的数据量，大约400W

　　需要磁盘50G。

6.job数据规划

　　总数量在40个左右，mr程序30个左右，hive不到10个