Hadoop Distributed Cache 共享archives时的问题（以MapFile的共享为例）

在Hadoop分布式处理中，如果需要在map和reduce任务中共享一些只读的数据，可以将这些数据配置在配置信息中（JobConf）。但是，根据《Hadoop权威指南》中所述，如果各计算结点间需要共享的只读数据量较大，由于配置信息的大小受到各计算结点的内存大小的限制，因此最好是采用Distributed Cache。可以在Job启动前，利用如下代码在Distributed Cache中添加文件或是存档：

DistributedCache.addCacheFile(new URI("/myapp/data.data"), jobconf); //添加文件
DistributedCache.addCacheArchive(new URI("/myapp/archive.zip"), jobconf); //如果是要共享一个目录，先将其打包成.zip, .tar.gz等的压缩文件

在Mapper或是Reducer中可以利用如下代码获得所共享的文件或是存档信息：

 public static class MapClass extends MapReduceBase  
     implements Mapper<K, V, K, V> {
     
       private Path[] localArchives;
       private Path[] localFiles;
       
       public void configure(JobConf job) {
         // Get the cached archives/files
         localArchives = DistributedCache.getLocalCacheArchives(job); //获得共享的文档的本地路径列表，同时DistributedCache机制为将存档自动解压，
                                                                                                                       //因此所获得的路径是一个目录

         localFiles = DistributedCache.getLocalCacheFiles(job);   //获得共享的文件的本地路径列表
       }
       
       public void map(K key, V value, 
                       OutputCollector<K, V> output, Reporter reporter) 
       throws IOException {
         // Use data from the cached archives/files here
         // ...
         // ...
         output.collect(k, v);
       }
     }

但是，在利用DistributedCache共享archives时，所获得的路径并不完全是原来的压缩文件解压后得到的目录，其中还含有其他内容，因此在操作时需要注意。

以下以共享MapFile为例，MapFile顾名思义就是一种磁盘版的Map结构，便于根据Key值进行快速查找，在磁盘上MapFile以一个目录的形式存放

图中P为最上层的目录，其下存在一个MapFile文件为part-00000，它包括data和index文件。

现在在MapReduce时将P加入DistributedCache中，首先将P压缩成zip文件，

在Job启动前的代码中加入如下语句：

DistributedCache.addCacheArchive(new URI(args[4]), conf);  //其中args[4]是P.zip文件文件在路径名，一般都要先将它放到HDFS中

然后在Mapper或是Reducer代码添加如下代码获得MapFile的Readers

public static class MapClass extends MapReduceBase 
           implements Mapper<K, V, K, V> 
{ 
     private MapFile.Reader[] readers = null; 
     private Path P_PATH;
     private Path[] localArchives; 
     private String p_path_name; 
     public void configure(JobConf conf) { 
          p_path_name = conf.get("P_path_name"); 
          try{
              localArchives = DistributedCache.getLocalCacheArchives(conf);}
          catch(IOException e){
                    System.out.println("get cache files error");
          }
          System.out.println("num of LocalArchives is " + localArchives.length);
          if(localArchives.length > 0 ) {
                P_PATH = localArchives[0];
          } 
          Path path = this.P_PATH;
          try{ 
               File zipDir = new File(path.toString());
               String[] zipFiles = zipDir.list();
               String mapfileDir = null;
               for(int i = 0; i < zipFiles.length; ++i)
               {
                   if(zipFiles[i].equals(this.p_path_name))
                   {
                      mapfileDir = "file://" + path.toString() + "/" + zipFiles[i]; //查找真正存放mapfiles的目录，加上"file://"表示是在本地文件系统, DistributedCache会将共享的目录和文件放到本地文件系统上
                    }
                    System.out.println("zipFiles[i] is " + zipFiles[i]);
                }
               System.out.println("mapfileDir is " + mapfileDir);
               Path mapFilePath = new Path(mapfileDir);
               FileSystem newFs = mapFilePath.getFileSystem(conf);
               System.out.println("mapfile path is " + mapFilePath.toString());
               this.readers = MapFileOutputFormat.getReaders(newFs, mapFilePath, conf); //获得MapFile readers，在一个目录下存在多个mapFile可以一次获取多个readers
         }catch(IOException e) {
            System.out.println("fail to create mapfile readers");
        }
}

在本例中利用DistributedCache.getLocalCacheArchives(conf)获得的路径名为....../P.zip，但它是一个目录，其下存在

P.zip ------文件，原始的zip文件

P ------目录，zip解压得到，要找的就是这个目录

             其中包括part-00000,这是真正的 mapfile

.P.zip.crc ------zip压缩时的校验文件

因此在获得P.zip路径后，还需要进一步查找，在能确定最终解压后的目录所在，这是利用DistributedCache共享archives时需要注意的问题。