Container killed on request. Exit code is 143 yarn.nodemanager.resource.

mapreduce运行中发现有任务被kill掉,多半是因为内存分配不足造成,所有需要修改内存配置。

首先在yarn-site.xml中添加下面内容:

    
        yarn.nodemanager.resource.memory-mb
        22528
        每个节点可用内存,单位MB
    

    
        yarn.scheduler.minimum-allocation-mb
        1500
        单个任务可申请最少内存,默认1024MB
    

    
        yarn.scheduler.maximum-allocation-mb
        16384
        单个任务可申请最大内存,默认8192MB
    

再在mapred-site.xml中添加下面内容:

    
        mapreduce.map.memory.mb
        1500
        每个Map任务的物理内存限制
    

    
        mapreduce.reduce.memory.mb
        3000
        每个Reduce任务的物理内存限制
    

    
        mapreduce.map.java.opts
        -Xmx1200m
    

    
        mapreduce.reduce.java.opts
        -Xmx2600m
    
    
        mapreduce.framework.name
        yarn
    

覆盖集群中的这两个文件,重启yarn再启动mapreduce任务,成功运行。

你可能感兴趣的:(大数据架构)