多线程并发获取Hadoop集群信息出现部分线程获取失败

描述

最近在写一个程序，该程序的主要功能是访问Hadoop集群的namenode获取集群中的DataNode信息。使用的方法如下：

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://"+nameNode+":8020");
FileSystem fs = FileSystem.get(conf);
DistributedFileSystem hdfs = (DistributedFileSystem) fs;
//获取DataNode节点信息
DatanodeInfo[] dis = hdfs.getDataNodeStats();
... ...
hdfs.close();

问题

当外部程序利用多线程调用该程序时，大部分的线程都会执行成功，但是有一些线程会出现无法获取到DataNode的信息的情况。

java.io.IOException: Failed on local exception: java.io.IOException;

原因

FileSytem类内部有一个static CACHE，用来保存每种文件系统的实例集合，一旦创建了相应的FileSystem实例，这个实例将会保存在缓存中，此后每次get都会获取同一个实例。所以多线程调用的时候导致，一个线程执行结束使用FileSystem.close方法时，另一个线程还没有执行结束就被关闭了，导致执行失败。

解决办法

在代码中添加以下代码：

conf.setBoolean("fs.hdfs.impl.disable.cache", true);

通过”fs.hdfs.impl.disable.cache”来指定是否缓存FileSystem实例，设为true以后，就能解决上面的异常。