Hadoop权威指南示例代码运行一:Resource request: exceeds maximum AM resource allowed

在尝试Hadoop权威指南(第四版) 6.5.2 在集群上运行mapreduce任务时出现错误:

,
错误原因比较明显,是因为申请的资源超出限制, 解决方式就是配置任务申请的内存.
尝试了两种方法都可以.

• 1.在手动指定的配置文件hadoop-cluster.xml中配置.

    
        mapreduce.map.memory.mb
        512
    

运行命令:

hadoop jar hadoop-examples.jar v2.MaxTemperatureDriver -conf hadoop-cluster.xml hdfs:///input/ncdc/all hdfs:///tmp/max-temp

• 2.在命令行中显式指定.

hadoop jar hadoop-examples.jar v2.MaxTemperatureDriver -Dmapreduce.map.memory.mb=512 -Dmapreduce.reduce.memory.mb=512 -conf hadoop-cluster.xml hdfs:///input/ncdc/all hdfs:///tmp/max-temp

注意此处我试了一下只指定mapreduce.map.memory.mb一个是没有效果的, 要同时指定mapreduce.map.memory.mb和mapreduce.reduce.memory.mb才生效, 但是第一种方法确只需要指定mapreduce.map.memory.mb一个就生效了(weird).