hadoop调优-hdfs配置优化

配置文件hdfs-site.xml

生产环境建议优化：

<property> 
    <name>dfs.permissions.enabledname> 
    <value>truevalue> 
property> 



<property>
    <name>dfs.namenode.handler.countname>
    <value>90value>
property>


<property>
    <name>dfs.ha.automatic-failover.enabledname>
    <value>truevalue>
property>

其它优化：

<property>
    <name>dfs.hostsname>
    <value>/export/hadoop/etc/hadoop/allowed_hostsvalue>
property>
<property>
    <name>dfs.hosts.excludename>
    <value>/export/hadoop/etc/hadoop/exclude_datanode_hostsvalue>
property>


<property>
    <name>dfs.datanode.failed.volumes.toleratedname>
    <value>1value>
property>



<property>  
    <name>dfs.datanode.balance.bandwidthPerSecname>  
    <value>41943040value> 
property>


<property>
    <name>dfs.encrypt.data.thransfername>
    <value>truevalue>
property>



  <property>
    <name>dfs.client.read.shortcircuitname>
    <value>truevalue>
  property>
  <property>
    <name>dfs.domain.socket.pathname>
    <value>/var/lib/hadoop-hdfs/dn_socketvalue>
  property>

namenode的JVM内存设置：

每个文件块大概占用 150byte。
一个128G 内存服务器为例，能存储多少文件块呢？
128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿

JournalNode:

两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。
Cloudera 建议将JournalNode放在主要服务器，或NameNode, Standby NameNode, JobTracker这类的,
JournalNodes的本地目录就比较可靠。