cloudera建议的datanode配置

Typical ‘base’ configuration for a slave Node

– 4 x 1Tb hard drives, in a JBOD* configuration
– Do not use RAID! (See later)
– 2 x Quad-core CPUs, each 2.0GHz to 2.5GHz
– 16Gb RAM
– Gigabit Ethernet

 

翻译过来就是：

 

4块1TB硬盘，使用JBOD*配置（JBOD:http://baike.baidu.com/view/200148.htm）

不要使用RAID!

2块4核cpu，主频2.0-2.5GHz

16GB内存

千兆网络

 

硬盘不使用raid是因为hdfs本身就含有数据冗余备份机制，无需raid。raid会让费掉一部分磁盘空间，占用磁盘性能，2块以上磁盘失效可能导致整个raid区域失效。

 

2块4核cpu，配置每节点4map，4reduce的配置比较合适

 

16GB内存，视实际情况，若同时配置hbase，对内存要求会更高

 

千兆网络，性价比高，标配