Hadoop-Hdfs-添加节点

---

tags: [Hadoop,Hdfs,大数据]

---

1.添加白名单

• 创建白名单文件

  hadoop3.x/etc/hadoop 这个目录下创建白名单文件 vim dfs.hosts
  

• 向白名单文件中添加允许访问NameNode的节点主机 记住不能有空格或者空行

  node04
  node05
  node06
  

• 在NameNode的hdfs-site.xml配置中增加白名单属性

  vim hadoop3.x/etc/hadoop/hdfs-site.xml
  

   
    
    dfs.hosts 
    
    /opt/hadoop-3.1.3/etc/hadoop/dfs.hosts 
  
  

2.刷新NameNode和Yarn

> 如果是启动集群前已经做好了白名单控制，那么就不需要刷新了，刷新操作主要是让节点重新加载 *-site.xml配置文件

• 刷新NameNode

  • hdfs dfsadmin -refreshNodes
    

• 刷新ResourceManager

  • yarn rmadmin -refreshNodes
    

3.黑名单

​ 原理和白名单相似，添加到黑名单的主机，加载配置后，会强制剔除主机。

4. 数据平衡

​ 如果数据不均衡，可以用命令实现集群的再平衡。当你的集群因某些因素导致部分节点下线，那么下线的节点所存储的资源势必要分配到其他节点上，造成集群负载不均衡，这时候我们可以手动通过命令实现集群的再平衡。

start-balancer.sh