hadoop中NameNode节点CPU使用量高 解决方案(亲测)

集群中任务执行超慢,查原因

top一下

hadoop中NameNode节点CPU使用量高 解决方案(亲测)_第1张图片

查看19118进程 

发现这个节点是NameNode节点

然后

ps aux |grep 19118

jstat -gcutil 19118 1000 1000查看jvm GC

hadoop中NameNode节点CPU使用量高 解决方案(亲测)_第2张图片

GC超高

问题就是namenode负载太高,内存不够用导致CPU飙升

解决方案调整hadoop_namenode_heapsize参数调到16G(按照集群情况定)

HADOOP_SECONDARYNAMENODE_OPTS="-Xmx16384m"(namenode和SecondaryNameNode保持一致)

然后重启NameNode和SecondaryNameNode

观察GC回收状况

hadoop中NameNode节点CPU使用量高 解决方案(亲测)_第3张图片

 

恢复正常

你可能感兴趣的:(hadoop)