hadoop yarn 内存配置

阅读更多

1、running beyond virtual memory
需要修改mapred-site.xml中的内存配置： https://blog.csdn.net/wqhlmark64/article/details/75090365
以及
yarn-site.xml中关闭虚拟内存检测： https://blog.csdn.net/T1DMzks/article/details/78818874

2.清除HDFS的所有文件
引用自： http://bluebubble.iteye.com/blog/1827434

引用

开启hadoop的start-all.sh脚本后，执行例子，出现properties could only be replicated to 0 nodes, instead of 1 这样的异常，解决方案是：
1、停止hadoop脚本：bin/stop-all.sh
(在进行2、3步前，注意数据的备份)
2、删除主节点和从节点上的hadoop根目录下的临时文件夹，比如$HADOOP_HOME/hadooptmp
3、格式化namenode: hadoop namenode -format
4、重新开启hadoop的start-all.sh脚本：bin/start-all.sh
5、查看从节点下的datanode是否起来，没有的话重复2、3