CDH集群环境要求

CDH 5.x 集群

CDH 5.X 集群如下图所示：

由于集群使用yarn的高可用机制，一般选择奇数台主机，所以，最小集群主机数要求应为3台。

根据 CDH 官网提供的虚拟机运行版本，可以看到，Cloudera Express 版本，虚拟机最低单机运行的内存不能低于 8 GB 。

Cloudera Enterprise 版本，虚拟机最低单机运行的内存不能低于 10 GB 。

建议服务器配置

服务器主要配置说明：
主节点： CPU：双核及以上，内存：32GB 及以上
从节点： CPU:  双核及以上，内存：16GB 及以上
硬盘： 应根据数据的使用来计算

硬盘使用容量计算如下：

例如：

每天摄入数据：10GB

备份副本数：3

使用年数：2

那么计算可以如下：    

每天生产总数据：  10 GB * 3 = 30 GB

2年产生总数据为：  2 * 365 * 30 GB = 21,900 GB

即需要最低 21.4 TB 的存储空间。

参考

(参考： https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/ )

其他配置参考 ：

样例一：

One name node: 2-hex cores CPU, 24 GB RAM, 100 GB Storage

Two data nodes: each with 2 cores CPU, 8 GB RAM, 100 GB Storage

样例二：

DataNodes:

• 12-24 1-4TB hard disks in a JBOD (Just a Bunch Of Disks) configuration

• 2 quad-/hex-/octo-core CPUs, running at least 2-2.5GHz
• 64-512GB of RAM
• Bonded Gigabit Ethernet or 10Gigabit Ethernet (the more storage density, the higher the network throughput needed)

NameNode:

• 4–6 1TB hard disks in a JBOD configuration (1 for the OS, 2 for the FS image [RAID 1], 1 for Apache ZooKeeper, and 1 for Journal node)
• 2 quad-/hex-/octo-core CPUs, running at least 2-2.5GHz
• 64-128GB of RAM
• Bonded Gigabit Ethernet or 10Gigabit Ethernet

CDH 5.x 集群

CDH 5.X 集群如下图所示：

由于集群使用yarn的高可用机制，一般选择奇数台主机，所以，最小集群主机数要求应为3台。

根据 CDH 官网提供的虚拟机运行版本，可以看到，Cloudera Express 版本，虚拟机最低单机运行的内存不能低于 8 GB 。

Cloudera Enterprise 版本，虚拟机最低单机运行的内存不能低于 10 GB 。

建议服务器配置

服务器主要配置说明：
主节点： CPU：双核及以上，内存：32GB 及以上
从节点： CPU:  双核及以上，内存：16GB 及以上
硬盘： 应根据数据的使用来计算

硬盘使用容量计算如下：

例如：

每天摄入数据：10GB

备份副本数：3

使用年数：2

那么计算可以如下：    

每天生产总数据：  10 GB * 3 = 30 GB

2年产生总数据为：  2 * 365 * 30 GB = 21,900 GB

即需要最低 21.4 TB 的存储空间。

参考

(参考： https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/ )

其他配置参考 ：

样例一：

One name node: 2-hex cores CPU, 24 GB RAM, 100 GB Storage

Two data nodes: each with 2 cores CPU, 8 GB RAM, 100 GB Storage

样例二：

DataNodes:

• 12-24 1-4TB hard disks in a JBOD (Just a Bunch Of Disks) configuration

• 2 quad-/hex-/octo-core CPUs, running at least 2-2.5GHz
• 64-512GB of RAM
• Bonded Gigabit Ethernet or 10Gigabit Ethernet (the more storage density, the higher the network throughput needed)

NameNode:

• 4–6 1TB hard disks in a JBOD configuration (1 for the OS, 2 for the FS image [RAID 1], 1 for Apache ZooKeeper, and 1 for Journal node)
• 2 quad-/hex-/octo-core CPUs, running at least 2-2.5GHz
• 64-128GB of RAM
• Bonded Gigabit Ethernet or 10Gigabit Ethernet