hdfs 添加DataNode

2019独角兽企业重金招聘Python工程师标准>>>

搭建Hbase环境有点郁闷 开始是直接参考Apache Hadoop 一直搞不定 最后同事介绍了cloudera 直接使用rpm完成基础软件的安装 之后就按照步骤一点一点来弄 今天下午总算是跑起来了 没有配置mapreduce 节点包括一个NameNode 一个DataNode 配置过程还在整理 之后贴上来 

在配置Hadoop的时候 直接修改/etc/hosts 开始是把本机的主机名写在127.0.0.1 这个条目后面 结果导致其它节点连接不上NameNode 看了NameNode的netstat 它绑定的地址是127.0.0.1 难怪连接不上 改了hosts配置一切就ok了 

由于起初配置就只有一个DataNode 配置完后 想加一个节点 google了一圈 有提供各种答案的 其实添加DataNode很放方便 安装完需要的软件后 建立data的目录

mkdir -p /data/2/dfs/dn
chown -R hdfs:hdfs /data/2/dfs/dn/

然后修改hdfs-site.xml 配置datanode.data.dir 如下

    dfs.datanode.data.dir
    /data/2/dfs/dn # 这里的2是 datanode的次序 最好以1，2，3，这样的次序起名 方便管理嘛

然后启动datanode 服务就直接加上去了 在NameNode的web界面可以看到刚添加的DataNode

转载于:https://my.oschina.net/pengfeix/blog/108703