sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决

在sqoop时从数据库中导出数据时，出现mapreduce卡住的情况

经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项．我以前没配置这几项，也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是，在每个Docker分配的内存和CPU资源太少，不能满足Hadoop和Hive运行所需的默认资源需求。

 

解决方案如下：

在yarn-site.xml中加入如下配置：

 

1.   

2.     yarn.nodemanager.resource.memory-mb  

3.     20480  

4.   

5.   

6.    yarn.scheduler.minimum-allocation-mb  

7.    2048  

8.   

9.   

10.     yarn.nodemanager.vmem-pmem-ratio  

11.     2.1  

12.   

 

关闭yarn重启就好了！！！