HDFS修改存储路径扩容

我这儿介绍的使用场景是,在docker里面搭建的大数据分析平台。因为系统是装在500GB的固态硬盘上的,所以所有的服务默认的存储路径都是在这500GB的盘子上,但是使用起来是远远不够的,这时我们就需要将2T的机械硬盘给用上。

docker里面的Ubuntu的系统无法直接挂载上2T的机械硬盘,办法是:

1.首先退出这个容器。如果你在运行了这个镜像后,容器内容有所改动,那么我建议你先将改动了的容器打成新的镜像,后面重新运行镜像的时候用这个新镜像,避免丢失数据,具体方法请自己百度。

2.退出容器之后,将2T的机械硬盘先挂载到你的物理机上。

3.然后重新运行镜像,运行的时候另外加上-v参数,格式为:-v 物理机上硬盘挂载到的目录:docker中的文件夹,其实就是将本地文件夹和docker里面的文件夹进行映射,如果docker里面没有那个文件夹,那么会自动创建,有关docker的volume知识请自己百度。

4.run成功后,启动容器,然后进入容器,使用命令df -h查看一下,你会发现多了一个硬盘挂载点,挂载目录为自己设置的那个目录。

5.如果你的大数据平台是使用的ambari管理的,请在ambari的web端进入HDFS的config进行修改(dfs.datanode.data.dir),直接修改配置文件hdfs-site.xml中是无效的,重启HDFS会被ambari撤销修改的。修改的路径填写你设置的docker里面的硬盘的挂载目录(路径前面不要加任何前缀,比如file:,我试过了,加上前缀是无法生效的),修改重启后,使用hdfs dfs -df -h查看,也可以使用hdfs dfsadmin -report,容量增加则成功。

注意:如果重启hdfs的时候,一直停在restart NameNode的环节上,那么查看日志,可能是由于hdfs自动启动了安全模式导致的,使用命令:hadoop dfsadmin -safemode leave,关闭安全模式之后,马上就会重启成功!

如果遇到了什么问题,欢迎加QQ:553877110,我们一起讨论一起成长!

你可能感兴趣的:(大数据,hdfs,大数据)