Hadoop datanode扩容（附带centos硬盘扩容）

前言

做这个的原因就是本身自己用的hadoop集群是在本机用vm虚拟出的三台机子部署的，所以各方面都受限制，比如说内存大小和硬盘大小。这次问题就出在了硬盘上，由于数据集过大，导致以前给两个slave每个分的20G硬盘都用完了，只能再给他们分一点地方了。

---

内容主要分为两个部分，前半部分就是centos硬盘扩容，后半部分就是datanode的扩容

第一部分

首先需要在vm里把虚拟机器硬盘的容量加上去，这里加了只是上限加了，虚拟机器系统并没有改变。
右键机器–>设置–>硬盘–>右边有个扩展然后把它改成你想要的大小（关机状态下才能操作）
然后就是到虚拟的机器里：

fdisk /dev/sda

这一步完了显示你当前的情况


记得最后在输入个w，保存之前的操作
输入partprobe手动将分区信息同步到内核，多输他几遍，然后用file /dev/sda4查看一下

按图操作嗷 mkfs.xfs /dev/sda4是格式化操作
最后把/dev/sda4挂载到/newFS里了
用df-h看看disk里有没有多出来空间
到此centos硬盘空间扩展做完了

第二部分

接下来就是datanode扩展了

1. 先把你的hdfs-site.xml给备份一下，习惯问题嗷

 cp hdfs-site.xml hdfs-site.xml.bak

2. 在刚才的挂载目录下创建文件/newFS/hadoop
3. 修改hdfs-site.xml文件（所有节点），增加dfs.datanode.data.dir数据目录（用逗号分隔）

      dfs.datanode.data.dir
      file:/data1/my_data/dfs-data,/newFS/hadoop

重启datanode（直接重启集群得了）
最后再跑一下/sbin/start-balancer.sh做个平衡就算完事了