hadoop常用运维命令及相关说明

准备

在操作hadoop时，一定要切换到hadoop  用户，例如hadoop的用户为hduser,一定要先使用su hduser，然后再执行相关的命令

命令

整集群启动

启动前，需要确认集群中的节点都是没有启动的， zookeeper集群是启动起来的，如果没有启动，请登录到zookeeper各个节点上运行/zookeeper所在目录/bin/zkServer.sh start

然后再来启动hadoop

进入到命令所在目录中：cd  /hadoop所在目录/sbin/

执行启动命令：./start-all.sh

整集群关闭

./stop-all.sh

启动某一节点的单个服务

例如，集群中有一个节点为hd3，需要启动hd3上的datanode服务，

进入到命令所在目录中：cd  /hadoop所在目录/sbin/

执行启动命令：./hadoop-daemon.sh start datanode

如果需要启动yarn的 nodemanager,

执行启动命令：./yarn-daemon.sh start nodemanager

单独启动或关闭yarn/dfs

如果需要单独启动yarn 

./start-yarn.sh 

单独关闭yarn 

./stop-yarn.sh

如果需要单独启动 dfs

./start-dfs.sh

单独关闭dfs

./stop-dfs.sh

增加数据节点

请根据安装hadoop 的步骤，安装一台节点，然后在所有的节点上的/etc/hosts中增加新增节点的ip与域名的映射。

编辑/hadoop所在目录/etc/hadoop/slaves 文件，增加新增节点，保持所有节点的同步更新。

启动节点

cd /hadoop所在目录/sbin/

./hadoop-daemon.sh start datanode

./yarn-daemon.sh start nodemanager

在namenode上刷新节点，开始上线

/hadoop所在目录/bin/hdfs dfsadmin -refreshNodes

设置负载均衡

cd /hadoop所在目录/bin/

./hdfs dfsadmin -setBalancerBandwidth 67108864

cd /hadoop所在目录/sbin/

./start-balancer.sh -threshold 5

下线数据节点

修改/hadoop所在目录/etc/hadoop/slaves

去掉要下线的数据节点

修改/hadoop所在目录/etc/hadoop/excludes

增加要下线的数据节点

把这两个文件同步到所有的hadoop节点的相应目录下

在namenode上刷新节点，开始下线

/hadoop所在目录/bin/hdfs dfsadmin -refreshNodes

在namenode上使用如下命令查看下线状态

/hadoop所在目录/bin/hadoop dfsadmin -report

当下线节点状态变为Decommissioned

就可关闭该服务器完成下线操作了。