hadoop配置多个硬盘

在hadoop的文档里明确提出了不需要使用RAID（见 http://wiki.apache.org/hadoop/DiskSetup）。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。

并且根据一篇文章《why not use RAID?》的描述：在Yahoo Hadoop Cluster的Benchmark中，测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。

http://wiki.apache.org/hadoop/FAQ#How_do_I_set_up_a_hadoop_node_to_use_multiple_volumes.3F

修改hdfs-site.xml的dfs.data.dir

<property>

  <name>dfs.data.dir</name>

  <value>/data0,/data1</value>

</property>

########################

注意！！！

上面是hdfs的目录的jbod配置，实际测试中，mapper和reducer执行时也会对硬盘造成不小的压力。

修改这个参数：mapred.local.dir 。修改方法与dfs.data.dir一样，一逗号隔开。

########################

附件是系统级的相关操作。