hdaoop2.x (CDH4、5)下使用DFS Client（包含HA）

阅读更多

一、不使用HA场景

1.1 获取FileSystem（下称FS）方法一：

 

FileSystem fs = FileSystem.get(URI.create("hdfs://:"), new Configuration());

 

1.2 获取FS方法二（★推荐）：

Configuration conf = new Configuration();			
conf.set("fs.default.name", "hdfs://:");
FileSystem fs = FileSystem.get(conf);

 

 

二、Hadoop2.x(CDH4)不配置HA场景

2.1 连接单台NN

    使用方式和1.2的代码是完全一样的，不需要任何代码变更。

 

三、Hadoop2.x(CDH4)使用HA场景

3.1 连接单台NN

    使用方式和1.2的代码是完全一样的，不需要任何代码变更。

 

3.2 使用nameservices，并支持自动切换，这里有两种方法：

方法一：使用配置文件

 

• 使用1.2配置，"fs.default.name"配置为你的nameservices名称，如："hdfs://venice"
• 将线上core-site.xml和hdfs-site.xml放到你项目配置文件目录，如conf，确保程序运行后，这个目录会被加载到classpath，特别注意，要添加如下配置到你的hdfs-site.xml文件，否则NN失败不会切换：

  
    dfs.client.failover.proxy.provider.
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  

 

方法二：代码嵌入配置

• 使用1.2配置方式，并设置如下值：
• fs.default.name（hadoop2.0兼容1.0该配置项名称，也可使用"fs.defaultFS"）
• dfs.nameservices
• dfs.ha.namenodes.
• dfs.namenode.rpc-address..xxx
• dfs.namenode.rpc-address..yyy
• dfs.client.failover.proxy.provider.

HA配置总结

    方法一的优点是不需要修改代码，缺点是要维护配置文件，方法二要修改系统代码，但不需要维护配置文件

 

-end