Hadoop 改了配置文件yarn-site.xml不生效，Container killed处理办法，vi出现 found a swap处理

 

Hadoop 改了配置文件yarn-site.xml不生效

Eclipse远程提交JOB：

远程提交Hadoop Job时候：一般来说需要在用户Job 配置4个文件：

 

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml 

 

 

但是可能遇到这个问题：

在用户JOb中修改yarn-site.xml 配置：

 

 
	   
        yarn.scheduler.maximum-allocation-mb
        9216
        每个节点可用内存,单位MB,默认8182MB
       
       
            yarn.scheduler.minimum-allocation-mb
            4096
        
		
		
        
            yarn.nodemanager.vmem-pmem-ratio
            4.2
        
		
            yarn.nodemanager.vmem-check-enabled
            false
        
		
            yarn.nodemanager.resource.memory-mb
            8192
        

 

 

 

发现不生效，为什么啊？！

思考来发现在集群中修改配置： 这里要注意 要修改你ResourceManager部署的那几台都要修改，否则修改后，有发现不生效，这个是因为 你修改的那个可能是standy状态，

不是Active状态，可以使用：

 

   yarn rmadmin –getServiceState rm1

 

 

查看ResourceManager状态

注：
rm1是ResourceManager的别名 一般在yarn-site.xml中配置

 

但是为啥在用户Job修改mapred-site.xml为什么生效呢？

因为这个是关于MaoReduce配置的，即使Job的配置，用户Job配置好了，远程提交就会生效的

 

 
	  
	    
          mapreduce.map.memory.mb
          2048
        
		
			mapreduce.reduce.memory.mb
			4096
		
	    
		    mapred.child.java.opts
			-Xmx4096M
	    
		
            mapreduce.job.reduces
            4
        
		
            mapreduce.job.maps
            18
        

 

 

 

 

 

 

 

Container killed处理办法

如果有问题：

 

ontainer [pid=9989,containerID=container_e04_1511333006873_0012_01_000002] is running beyond virtual memory limits. Current usage: 420.2 MB of 2 GB physical memory used; 6.0 GB of 4.2 GB virtual memory used. Killing container

怎么解决：

 

修改集群上yarn-site.xml的配置即可：把如下参数调大：

 

yarn.nodemanager.vmem-pmem-ratio

 

 

             yarn.nodemanager.vmem-pmem-ratio
             4.2
       
       
            yarn.scheduler.minimum-allocation-mb
            3072
         

 

 

 

 

 

linux 有关的：Found a swap 

 

当打开Vi编辑器时出现以下的提示时不要着急
E325: ATTENTION
Found a swap file by the name "/etc/.profile.swp

 

 

解决办法：

1）ls -a 列举所有的内容 

2）rm对应的.swp文件。

 

 

欢迎关注微信公众号：程序员开发者社区 分享优质文章和资源