ViewFs And Federation On HDFS

序言

ViewFs 是在Federation的基础上提出的,用于通过一个HDFS路径来访问多个NameSpace,同时与ViewFs搭配的技术是client-side mount table(这个就是具体的规则配置信息可以放置在core.xml中,也可以放置在mountTable.xml中). 

总的来说ViewFs的其实就是一个中间层,用于去连接不同的Namenode,然后返还给我们的客户端程序. 所以ViewFs必须要实现HDFS的所有接口,这样才能来做转发管理. 这样就会有一些问题,比如不同的NameNode版本带来的问题,就没法解决cuiyaonan2000@163.com

Federation Of HDFS

只是单纯的搭建联盟其实比较简单.

core.xml

    
        hadoop.tmp.dir
        /soft/hadoop/data_hadoop
    


    
    
        fs.defaultFS
        hdfs://hadoop:9000/
    

 

hfds-site.xml

    
        dfs.replication
        2
    


    
        dfs.namenode.name.dir
        file:/soft/hadoop/data_hadoop/datanode
    

    
        dfs.datanode.data.dir
        file:/soft/hadoop/data_hadoop/namenode
    


    
        dfs.permissions
        false
    


    
        dfs.nameservices
        ns1,ns2
    

    
        dfs.namenode.rpc-address.ns1
        hadoop:9000
    

    
        dfs.namenode.http-address.ns1
        hadoop:50070
    

    
        dfs.namenode.secondaryhttp-address.ns1
        hadoop:50090
    


    
        dfs.namenode.rpc-address.ns2
        hadoop1:9000
    

    
        dfs.namenode.http-address.ns2
        hadoop1:50070
    

    
        dfs.namenode.secondaryhttp-address.ns2
        hadoop1:50090
    

启动

首先就是需要格式化namenode,这个很常规 hdfs namenode -format

关于联盟版本的创建则需要设置联盟的id,所以需要再格式化namenode 的时候指定

hdfs namenode -format -clusterId cui

验证

 

 最主要的就是共用DataNode,即他们的DataNode 信息一样

ViewFs  Of HDFS