Hadoop HBase动态添加和删除节点

Hadoop添加和删除节点

一．添加节点

（一）添加节点有两种方式，一种是静态添加，关闭hadoop集群，配置相应配置，重启集群（这个就不再重述了）

（二）动态添加，在不重启集群的情况下添加节点

1．设置新datanode与namenode的SSH无密码登陆

2．在hosts添加主机名称，并且把该文件复制到集群中的其他节点上。

3．修改namenode节点上的slaves文件（主要用于下次重启的时候使用）

4．在datanode中启动进程:

sbin/hadoop-daemon.sh start datanode 

sbin/yarn-daemon.sh start nodemanager

5．在datanode中启动:start-balancer.sh均衡当前的hdfs块

 

二．删除节点

1.需要在hdfs-site.xml配置文件中配置：

<property>

<name>dfs.hosts.exclude</name>

<value>/myhome/usr/hadoop/etc/hadoop/exclude</value>

</property>

在hadoop 2.2.0的文档中说通过配置dfs.namenode.hosts.exclude，发现没有效果，使用早期版本的配置项dfs.hosts.exclude才有效果

2.在exclude文件中添加需要删除的节点。

然后执行刷新命令:hdfs dfsadmin -refreshNodes

根据hdfs dfsadmin -report可以查看该节点的状况

 

三．添加HBase节点

在HMaster的regionserver配置文件中添加新节点的host

在新节点中通过下面命令启动HRegionServer:

hbase-daemon.sh start regionserver

可以通过hbase shell和status进行确认

 

四.删除HBase节点

hbase-daemon.sh stop regionserver

在下线节点前要停止Load Balancer

要下线一台RegionServer可以这样做,当执行graceful_stop脚本的时候，要将Region Load Balancer关掉（否则balancer和下线脚本会在region部署的问题上存在冲突）

graceful_stop.sh HOSTNAME