JAVA API连接HDFS HA的几种方式

hadoop版本：2.7.3

使用场景：

线上服务写hdfs，写过程中namenode的master节点发生HA切换，为保证写服务不因为连接中断而终止，需要在客户端以nameservices 的方式初始化 FileSystem

方式一 ：代码里添加配置项

     # conf.set("key", "value"); key保持不变，value值去core-site.xml 、hdfs-site.xml文件里找
      Configuration conf = new Configuration();
      conf.set("fs.defaultFS", "hdfs://nameservices");
      conf.set("dfs.nameservices", "nameservices");
      conf.set("dfs.ha.namenodes.nameservices", "nn1,nn2");
      conf.set("dfs.namenode.rpc-address.nameservices.nn1", "bigdata-hadoop-0-x:8020");
      conf.set("dfs.namenode.rpc-address.nameservices.nn2", "bigdata-hadoop-0-xx:8020");
      conf.set("dfs.client.failover.proxy.provider.nameservices", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
      try {
          fileSystem = FileSystem .newInstance(new URI("hdfs://nameservices"), conf, "bigdata");
      } catch (Exception e) {
          e.printStackTrace();
      }

优点 ：可脱离hdfs环境，服务部署在集群机器、非集群机器均可。
缺点：通用性差，若hdfs配置更改，需要同步更改代码，代价较高。

方式二 ：hdfs配置文件植入

step1: 从 HADOOP_HOME/conf/ 目录里下载 core-site.xml、hdfs-site.xml文件
step2: 把 core-site.xml、hdfs-site.xml 两个文件 copy 到项目工程的 resources 目录下（此步骤的执行原因见文章末尾 "源码分析"）
step3: 代码如下

     # org.apache.hadoop.fs.FileSystem;
     Configuration conf = new Configuration();
      try {
          fileSystem = FileSystem .newInstance(new URI("hdfs://nameservices"), conf, "bigdata");
      } catch (Exception e) {
          e.printStackTrace();
      }

优点 ：可脱离hdfs环境，服务部署在集群机器或非集群机器均可。
缺点：通用性差，若hdfs配置更改，需要找运维要新的配置文件做替换，代价较高。

方式三 ：加载本地配置

前提：部署服务器配置了hadoop的环境变量，见于 /etc/profile ；其实没有也无妨，调整下代码即可
代码如下

    # vim /etc/profile;  添加 export HADOOP_HOME=/usr/hdp/2.6.0.3-8/hadoop
    try {
          Configuration conf = new Configuration();
          String hdpLocalEnv = System.getenv("HADOOP_HOME");
          Path coreSiteXml = new Path(hdpLocalEnv + "/conf/core-site.xml");
          Path hdfsSiteXml = new Path(hdpLocalEnv + "/conf/hdfs-site.xml");
          conf.addResource(coreSiteXml);
          conf.addResource(hdfsSiteXml);
          fileSystem = FileSystem.newInstance(new URI("hdfs://sqycnamenode"), conf, "bigdata");
      } catch (Exception e) {
          e.printStackTrace();
      }

优点 ：通用性高，若hdfs配置更改，无需找运维要新的配置文件做替换，重启服务即可，代价低。
缺点：需从 local filesystem 加载文件，所以不可脱离hdfs环境，服务只能部署在集群机器。

方式四 ：从 URL 加载配置

/**  org.apache.hadoop.conf.Configuration;
  * Add a configuration resource. 
  * 
  * The properties of this resource will override properties of previously 
  * added resources, unless they were marked final. 
  * 
  * @param url url of the resource to be added, the local filesystem is 
  *            examined directly to find the resource, without referring to 
  *            the classpath.
  */
 public void addResource(URL url) {
   addResourceObject(new Resource(url));
 }

发现hdfs的配置文件未能暴露到一个特定的url里，也就是说无法从一个url里获取相应的配置项，所以我没能验证出结果。此方法要是能验证成功，那一定是最完美的，服务不再依赖集群环境、当hdfs配置变更后，我们只需要找个合适的时间窗口重启服务即可，十分灵活。

代码分析

Configuration conf = new Configuration(); 代码处打断点进行debug ，一步步追进去，发现 Configuration 会默认的从 classpath 里读取 core-site.xml、hdfs-site.xml 文件。截图如下：

Configuration.png

若cloasspath里没有，在初始化FileSystem时会报出错误： Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: ''nameservices''