DataNode与NameNode交互机制相关代码分析

    HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解block-pool是一个重新将block划分的逻辑概念，同一个DataNode中可以存储属于多个block-pool的多个block。所以在NameNode和DataNode通信相关的代码方面，也做了很大的改动以支持上述特性。

    在cdh3x中，DataNode与NameNode交互主要集中在DataNode这个类中，类结构比较简单，随着Federation概念的引入，新增了一些比较重要的类来管理逻辑层面划分的block-pool和block-pool下的block分布,并以block-pool为单位来与NameNode进行相关的通信。类图如下

        BPServiceActor类实现Runnable接口，以线程的方式运行，一个BPServiceActor实例可以和一个active或standby模式的NameNode实例进行交互，它是真正的任务执行者。主要有四大职能

    1.预先与NameNode进行握手

    2.向NameNode注册

    3.周期性的向NameNode发送心跳

    4.处理NameNode发送回的命令

    一个BPOfferService实例代表在某个DataNode上的某个block-pool(一个block-pool对应一个独立的Namespace)，对block-pool对应的active和standby状态的NameNode进行交互的操作。BPOfferService管理和每个NameNode进行实际通信的BPServiceActor实例，并作为代理与处于active状态和standby状态的两个NameNode进行交互，同时标识与active状态NameNode通信的BPServiceActor实例。相关代码如下

class BPOfferService {
  static final Log LOG = DataNode.LOG;

  //本block-pool服务代表的Namespace信息,和NameNode握手的第一阶段分配所得
  NamespaceInfo bpNSInfo;

    
  //block-pool所在DataNode相关的注册信息，和NameNode握手的第二阶段分配所得
  volatile DatanodeRegistration bpRegistration;
  
  //所属datanode实例
  private final DataNode dn;
    
  //代表和当前active状态的NameNode关联的BPServiceActor实例
  //如果所有NameNode处于standby状态，此属性可以为空
  //如果此属性非空，则必指向bpServices集合中的某个实例
  private BPServiceActor bpServiceToActive = null;
  
  //在本nameservice服务下指向所有NameNode的BPServiceActor实例
  //不论代表的NameNode是active状态还是standby状态
  private List bpServices = new CopyOnWriteArrayList();
    
  //构造方法中根据NameNode的地址来初始化BPServiceActor,并加入到bpServices集合中
  BPOfferService(List nnAddrs, DataNode dn) {
    Preconditions.checkArgument(!nnAddrs.isEmpty(),
        "Must pass at least one NN.");
    this.dn = dn;
    
    for (InetSocketAddress addr : nnAddrs) {
      this.bpServices.add(new BPServiceActor(addr, this));
    }
  }
}

    BlockPoolManager类主要用于管理DataNode上的BPOfferService，对BPOfferService对象的创建，删除，启动，停止，关闭的操作都需要通过BlockPoolManager提供的方法来控制。代码如下

class BlockPoolManager {
  private static final Log LOG = DataNode.LOG;
  
  //nameserviceId和BPOfferService的映射集合
  private final Map bpByNameserviceId = Maps.newHashMap();
  //blockPoolId和BPOfferService的映射集合
  private final Map bpByBlockPoolId = Maps.newHashMap();
  //BPOfferService集合
  private final List offerServices = Lists.newArrayList();
  //当前所属的datanode实例
  private final DataNode dn;

  //更新NameNode列表时的lock
  private final Object refreshNamenodesLock = new Object();
  
  BlockPoolManager(DataNode dn) {
    this.dn = dn;
  }
}

    BlockPoolSliceScanner类用于扫描block-pool下的block文件并校验文件是否损坏，它对block和最后的校验时间进行跟踪，目前不提供修改block元数据的操作。一个DataNode对应一个DataBlockScanner，DataBlockScanner对不同block-pool的BlockPoolSliceScanner进行管理。

    BlockPoolSliceStorage用于管理DataNode上对应同一个block pool的BlockPoolSlices集合，由于一个DataNode上可能会挂载多个存储设备，即逻辑上对应多个volume，一个BlockPoolSlice对应一个volume,所以对同一个DataNode上的同一个block pool,可以管理多个BlockPoolSlice。BlockPoolSliceStorage的主要职能如下

    1.对新生成的block-pool对应的存储进行格式化

    2.恢复存储状态以保持一致性

    3.在升级的时候对block-pool进行快照处理

    4.回滚block-pool到上一个快照

    5.删除快照并提交block

    在cdh3x中，DataNode启动过程中与NameNode交互的操作，都是在DataNode类中进行的，包括握手，注册，数据块上报和发送心跳等。代码调用关系如下图所示

握手

注册

数据块上报

发送心跳

      在cdh5.1中，这些操作最终都交给了BPServiceActor来处理，下面来详细分析下具体的代码和相互间的调用关系。

    BlockPoolManager在startDataNode方法中被实例化，startDataNode调用关系如下

DataNode.startDataNode(Configuration conf, 
                     List dataDirs,
                     SecureResources resources
                     ) throws IOException {
    blockPoolManager = new BlockPoolManager(this);
    //刷新加载NameNodes
    blockPoolManager.refreshNamenodes(conf);
}


BlockPoolManager.refreshNamenodes(Configuration conf)
      throws IOException {
    LOG.info("Refresh request received for nameservices: "
        + conf.get(DFSConfigKeys.DFS_NAMESERVICES));
    
    //地址映射列表,Map>
    Map> newAddressMap = 
      DFSUtil.getNNServiceRpcAddresses(conf);
    
    synchronized (refreshNamenodesLock) {
      doRefreshNamenodes(newAddressMap);
    }
}

BlockPoolManager.doRefreshNamenodes(Map> addrMap){
    Set toRefresh = Sets.newLinkedHashSet();
    Set toAdd = Sets.newLinkedHashSet();
    Set toRemove;
    
    synchronized (this) {
      for (String nameserviceId : addrMap.keySet()) {
        if (bpByNameserviceId.containsKey(nameserviceId)) {
          //已经存在，可能有更新的nameserviceId
          toRefresh.add(nameserviceId);
        } else {
          //加入新的nameserviceId
          toAdd.add(nameserviceId);
        }
      }
      
      //找出bpByNameserviceId存在的，但不存在于addrMap的nameserviceId
      //等待删除
      toRemove = Sets.newHashSet(Sets.difference(
          bpByNameserviceId.keySet(), addrMap.keySet()));
      
      //启动新的nameservice
      if (!toAdd.isEmpty()) {
        for (String nsToAdd : toAdd) {
          ArrayList addrs =
            Lists.newArrayList(addrMap.get(nsToAdd).values());
          //根据NameNode地址集合创建新的BPOfferService实例
          BPOfferService bpos = createBPOS(addrs);
          //建立nameserviceId到BPOfferService的映射
          bpByNameserviceId.put(nsToAdd, bpos);
          //加入到offerServices集合
          offerServices.add(bpos);
        }
      }
      //启动BPOfferService服务
      startAll();
    }
    
    //删除toRemove中的nameserviceId的映射关系，并停止相关服务
    if (!toRemove.isEmpty()) {
      for (String nsToRemove : toRemove) {
        BPOfferService bpos = bpByNameserviceId.get(nsToRemove);
        bpos.stop();
        bpos.join();
      }
    }
    
    //刷新变化的nameserviceId
    if (!toRefresh.isEmpty()) {
      for (String nsToRefresh : toRefresh) {
        BPOfferService bpos = bpByNameserviceId.get(nsToRefresh);
        ArrayList addrs =
          Lists.newArrayList(addrMap.get(nsToRefresh).values());
        bpos.refreshNNList(addrs);
      }
    }
}


BlockPoolManager.startAll() throws IOException {
    try {
      UserGroupInformation.getLoginUser().doAs(
          new PrivilegedExceptionAction