hadoop 0.20.2遇到heap size error

设置Task的jvm heap size

在所有节点上修改mapred-site.xml

<!--mapred-site.xml-->

<property> 

  <name>mapred.child.java.opts</name> 
  <value>-Xmx1024m</value> 
</property>

同时修改hadoop-env.sh
# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=2000
这个时候需要重新格式化hadoop，但会碰到datanode无法启动的情况，不好的处理办法是先删除各datanode节点的data再格式化，接着重新start-all.sh但是以前的数据都会不见，所以这个方法不好。