hadoop namenode 元数据计算公式

元数据占用内存空间说明 

对象类别 估算大小(bytes) 计算方法 估计总大小(bytes) 

文件     224     224+2*文件名长度     250 

目录     264     264+2*文件名长度     290 

块     152            152+72*副本数             368

NameNode元数据内存估算举例 

一个典型集群拥有如下信息 

文件数量:10 600 000 

目录数量:310 000 

块数量:13 300 000

计算元数据需要内存: 250x 10600000+290x310000 +368x13300000

    = 7 634 300 000(bytes)≈ 7.63G

一个快按照 128M存储数据,可以按照如下模式

13300000X128MB

实际测算:在该NameNode实际使用内存9G。实际计算中内存更大是因为内存中除了元数据还有其他信息。

你可能感兴趣的:(hadoop namenode 元数据计算公式)