设置Hadoop+Hbase集群pid文件存储位置

阅读更多

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？
因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢？

一：Hadoop配置：

（1）修改hadoop-env.sh
修改如下，如果没有下面的设置，可以直接添加：

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NameNode
DataNode
SecondaryNameNode
进程pid存储



（2）修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
JobHistoryServer
进程pid存储

（3）修改yarn-env.sh
修改或者添加（不存在此项配置时），这里面我没有找到pid的环境设置变量，所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NodeManager
ResourceManager
进程pid存储


二：Hbase的配置
修改hbase-env.sh

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase


上述配置，影响
HMaster
HRegionServer

进程pid存储


再次启动集群，就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来：







如此以来，就安全多了，再次关闭集群时，不用再担心进程文件找不到，而导致只能暴力 kill 相关
进程，这样做比较危险，一般情况不推荐这样做

参考文章：
http://blog.csdn.net/xiao_jun_0820/article/details/35222699


最后欢迎大家扫码关注微信公众号：我是攻城师(woshigcs)，我们一起学习，进步和交流!（woshigcs）
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享，也是一个温馨的技术互动交流的小家园，有什么问题随时都可以留言，欢迎大家来访！

• 
• 大小: 9.9 KB

• 查看图片附件