NameNode和DataNode的多目录配置

NameNode多目录配置

1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
2. 具体配置如下
   （1）在hdfs-site.xml文件中增加如下内容

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2
</property>

修改完毕后，将修改内容分发一下l并重启dfs
（2）停止集群，删除data和logs中所有数据。
（3）格式化集群并启动。
bin/hdfs namenode –format
sbin/start-dfs.sh
NameNode多目录的作用：提高可用性

Datanode多目录配置

1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
   2．具体配置如下
   hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>
<value>file:///$ {hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2
</property>

修改文件后同步，重新格式化，启动hdfs及yarn，上传文件测试，观察目录中的内容不一样
Datanode的作用：保证所有磁盘都被利用均衡
一、引起磁盘倾斜不均衡的可能原因有哪些
（1）扩容节点，向集群中添加新的数据节点 （服役新节点候可以使用hadoop自带的balancer来使数据再平衡）
（2）数据节点之间的磁盘大小不一致

二、磁盘倾斜引起的性能问题
（1）MR程序无法很好地利用本地计算的优势
（2）机器之间无法达到更好的网络带宽使用率
（3）机器磁盘无法利用

`