Hadoop学习二十：Hadoop-Hdfs 通信机制VersionedProtocol接口方法

阅读更多

一. VersionedProtocol

//使用Hadoop RPC机制的所有协议的超类  
//所有子类所以自己的协议号static final long versionID
public interface VersionedProtocol {
  /**  
   * 返回与指定协议protocol相关的协议版本  
   * @param protocol 协议接口的类名  
   * @param clientVersion 客户端欲与服务器进行交互，它所使用的协议版本  
   * @return 返回服务器将要与客户端进行交互，所需要使用的协议版本  
   */   
  public long getProtocolVersion(String protocol,  long clientVersion) throws IOException;
}

 

二.ClientDatanodeProtocol

//ClientDatanodeProtocol用于Client和DataNode通信
public interface ClientDatanodeProtocol extends VersionedProtocol {
  //ClientDatanodeProtocol版本号4L
  public static final long versionID = 4L;


  //恢复block
  LocatedBlock recoverBlock(Block block, boolean keepLength,
      DatanodeInfo[] targets) throws IOException;

  //获得当前DataNode上的block
  Block getBlockInfo(Block block) throws IOException;

  //获得指定block的位置信息BlockLocalPathInfo
  BlockLocalPathInfo getBlockLocalPathInfo(Block block,
      Token token) throws IOException;           
}

 

 

三. InterDatanodeProtocol

 

//InterDatanodeProtocol用于DataNode与DataNode通信
public interface InterDatanodeProtocol extends VersionedProtocol {
  //InterDatanodeProtocol 版本号3L
  public static final long versionID = 3L;

  //获得指定block的元数据信息
  BlockMetaDataInfo getBlockMetaDataInfo(Block block) throws IOException;

  //恢复数据块
  BlockRecoveryInfo startBlockRecovery(Block block) throws IOException;
  
  //更新数据块
  void updateBlock(Block oldblock, Block newblock, boolean finalize) throws IOException;
}

 

四. ClientProtocol

 

/**
 * ClientProtocol用于用户通过DistributedFileSystem访问NameNode
 * Client可以操作namespace目录，打开/关闭文件流等等
 * 以下所有方法发起方都是Client，接收方都是NameNode
 */
public interface ClientProtocol extends VersionedProtocol {

    //ClientProtocol 协议号61L
  public static final long versionID = 61L;
  
  ///////////////////////////////////////
  // File contents
  ///////////////////////////////////////
  
//获得一个文件对应的list<块，块的位置>信息
  public LocatedBlocks  getBlockLocations(String src,
                                          long offset,
                                          long length) throws IOException;

  //在命名空间中创建一个文件入口。该方法将创建一个由src路径指定的空文件
  //该路径src应该反映了从root目录开始的一个完整路径名称
  //从客户端的角度，Namenode并没有“当前”目录的概念。一旦文件创建成功，该文件就是可见的，并可以被其它客户端来执行读操作。
  //但是，其它客户端不能够对该文件进行删除、重命名、重写，而这些操作只有在该文件被完全或明确指定为租约到期，才可以执行。
  //每个块都具有最大长度限制，如果客户端想要创建多个块，可以调用addBlock(String, String)方法来实现。
  public void create(String src, 
                     FsPermission masked,
                             String clientName, 
                             boolean overwrite, 
                             boolean createParent,
                             short replication,
                             long blockSize
                             ) throws IOException;

  public void create(String src, 
                     FsPermission masked,
                             String clientName, 
                             boolean overwrite, 
                             short replication,
                             long blockSize
                             ) throws IOException;
 
  //向文件src中追加写入内容，返回一个org.apache.hadoop.hdfs.protocol.LocatedBlock对象
  //该对象封装了 块，块的位置的对应关系，通过追加写操作后的返回信息，可以定位到追加写入最后部分块的信息。
  public LocatedBlock append(String src, String clientName) throws IOException;
  

  //开始恢复租约
  public boolean recoverLease(String src, String clientName) throws IOException;


  //设置已经存在的文件的复制因子
  //Namenode会为指定文件设置副本因子，但是，不期望在调用该方法的过程修改实际块的副本因子，而是由后台块维护进程来执行：
  //如果当前副本因子小于设置的新副本因子，需要增加一些块副本，如果当前副本因子大于设置的新副本因子，就会删除一些块副本。
  public boolean setReplication(String src, 
                                short replication
                                ) throws IOException;


  //为已经存在的目录或者文件，设置给定的操作权限  
  public void setPermission(String src, FsPermission permission
      ) throws IOException;


  //设置文件或目录属主  
  public void setOwner(String src, String username, String groupname
      ) throws IOException;

 
  //客户端放弃对指定块的操作
  public void abandonBlock(Block b, String src, String holder
      ) throws IOException;


  public LocatedBlock addBlock(String src, String clientName) throws IOException;

  
  //客户端向一个当前为写操作打开的文件写入数据块  
  public LocatedBlock addBlock(String src, String clientName,
                               DatanodeInfo[] excludedNodes) throws IOException;

  //客户端完成对指定文件的写操作，并期望能够写完
  //在写完以后关闭文件，返回是否成功关闭；如果返回false,调用者应该再次发送请求
  //该方法只有在所有文件的文件块全部达到最小复制因子时才返回true
  public boolean complete(String src, String clientName) throws IOException;

  //客户端报告corrupted块的信息
  public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;

  ///////////////////////////////////////
  // Namespace management
  ///////////////////////////////////////

  //重命名文件系统里的一个文件或目录   
  public boolean rename(String src, String dst) throws IOException;

  public boolean delete(String src) throws IOException;


  //删除文件系统里的一个文件或目录 ，recursive 是否递归删除子目录
  public boolean delete(String src, boolean recursive) throws IOException;
  

  //创建指定权限的目录
  public boolean mkdirs(String src, FsPermission masked) throws IOException;


  //获取指定目录的目录/文件列表
  public DirectoryListing getListing(String src, byte[] startAfter)
  throws IOException;

  ///////////////////////////////////////
  // System issues and management
  ///////////////////////////////////////

  
  //一个client操作某个文件时，为了防止其它clinet同时操作此文件，该client获取了一些列锁
  //如果此时该client突然意外死亡，Namenode会销毁这个锁并认为此client已经死亡
  //如果此client发送renewLease请求，告诉Namenode我没死；如果一段时间不发送，NameNode认为此client彻底死亡
  public void renewLease(String clientName) throws IOException;

  
  //获取文件系统现有的状态信息
  /**  
   * 返回一组标识文件系统不同信息的索引数组：  
   * 
  
   * 
 [0] 包含文件系统总存储容量(按字节计算)
  
   * 
 [1] 包含文件系统已使用空间(按字节计算)
  
   * 
 [2] 包含文件系统可使用空间(按字节计算)
  
   * 
 [3] 包含文件系统中不满足副本因子数量的块的数量
  
   * 
 [4] 包含corrupt副本的块的数量 
  
   * 
 [5] 包含没有任何可以用的块副本的块的数量
  
   * 
  
   */   
  public long[] getStats() throws IOException;


  //获得当前DataNodes的状态信息
  public DatanodeInfo[] getDatanodeReport(FSConstants.DatanodeReportType type)
  throws IOException;

  //获得指定文件的block size
  public long getPreferredBlockSize(String filename) throws IOException;

  
  //进入 离开 获取安全模式
  public boolean setSafeMode(FSConstants.SafeModeAction action) throws IOException;

   //保存命名空间映像
  //保存当前namespace到storage directories，然后进行checkpoint操作
  public void saveNamespace() throws IOException;

    //告诉NameNode重读hosts文件
  public void refreshNodes() throws IOException;

   //完成升级
  public void finalizeUpgrade() throws IOException;

    //获得升级过程中的当前状态
  public UpgradeStatusReport distributedUpgradeProgress(UpgradeAction action) 
  throws IOException;

   //将Namenode结点上的数据结构写入到指定的文件中，如果指定文件已经存在，则追加到该文件中，就是checkpoint过程  
  public void metaSave(String filename) throws IOException;


  //重新为所有DataNode设置带宽
  public void setBalancerBandwidth(long bandwidth) throws IOException;


  //获得指定文件或目录的状态信息
  public HdfsFileStatus getFileInfo(String src) throws IOException;


  //获得指定目录的容量
  public ContentSummary getContentSummary(String path) throws IOException;

  
  //设置指定目录的配额
  public void setQuota(String path, long namespaceQuota, long diskspaceQuota)
                      throws IOException;
  
  
  //设置给定文件的修改时间
  public void setTimes(String src, long mtime, long atime) throws IOException;


  //获得令牌
  public Token getDelegationToken(Text renewer) throws IOException;


  //重新创建令牌
  public long renewDelegationToken(Token token)
      throws IOException;

  //取消已经存在的令牌
  public void cancelDelegationToken(Token token)
      throws IOException;

 

五. DatanodeProtocol

//DatanodeProtocol用于Datanode与NameNode的通信
//上报心跳 等
//NameNode与DataNode通信的唯一方式是 DataNode----->NameNode时带回返回值
public interface DatanodeProtocol extends VersionedProtocol {
  
	//DatanodeProtocol版本号26L
  public static final long versionID = 26L;

  
  /**  
   * 当接收到Datanode的命令的时候，根据下述状态码确定Datanode应该执行何种操作，   
   */   
  final static int DNA_UNKNOWN = 0;    // 未知      
  final static int DNA_TRANSFER = 1;   // 将数据块从一个Datanode转移到另一个Datanode   
  final static int DNA_INVALIDATE = 2; // 未验证数据块   
  final static int DNA_SHUTDOWN = 3;   // 关闭Datanode   
  final static int DNA_REGISTER = 4;   // 重新注册   
  final static int DNA_FINALIZE = 5;   // 完成先前执行的升级操作   
  final static int DNA_RECOVERBLOCK = 6;  // 数据块恢复操作请求
  final static int DNA_ACCESSKEYUPDATE = 7;  // 更新 access key
  final static int DNA_BALANCERBANDWIDTHUPDATE = 8; // 更改带宽

  //注册一个Datanode
  public DatanodeRegistration register(DatanodeRegistration registration
                                       ) throws IOException;

  //发送心跳，带回返回值
  //心跳告诉NameNode此DataNode的存活状态和其它状态信息
  //返回值告诉DataNode移除或拷贝某些block
  public DatanodeCommand[] sendHeartbeat(DatanodeRegistration registration,
                                       long capacity,
                                       long dfsUsed, long remaining,
                                       int xmitsInProgress,
                                       int xceiverCount) throws IOException;

  //发送block report 告诉NameNode此DataNode上的block信息
  //NameNode返回DatanodeCommand 告诉DataNode孤立block和应该删除的block
  public DatanodeCommand blockReport(DatanodeRegistration registration,
                                     long[] blocks) throws IOException;
  

  //告诉NameNode blocks-being-written信息
  public void blocksBeingWrittenReport(DatanodeRegistration registration,
      long[] blocks) throws IOException;
    

  //Datanode向Namenode报告最近接收到的数据块、删除的多余块副本  
  public void blockReceived(DatanodeRegistration registration,
                            Block blocks[],
                            String[] delHints) throws IOException;

  //向Namenode报告错误信息  
  public void errorReport(DatanodeRegistration registration,
                          int errorCode, 
                          String msg) throws IOException;
  public NamespaceInfo versionRequest() throws IOException;


  //向Namenode发送一个升级命令  
  UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throws IOException;
  

  //向Namenode报告Bad Blocks  
  public void reportBadBlocks(LocatedBlock[] blocks) throws IOException;
  

  //为数据块生成新的时间戳   
  public long nextGenerationStamp(Block block, boolean fromNN) throws IOException;

  //在恢复数据块期间，提交事务：数据块同步 
  public void commitBlockSynchronization(Block block,
      long newgenerationstamp, long newlength,
      boolean closeFile, boolean deleteblock, DatanodeID[] newtargets
      ) throws IOException;
}

 

 

六. NamenodeProtocol

//NamenodeProtocol用于Secondary NameNode与NameNode的通信
public interface NamenodeProtocol extends VersionedProtocol {

	//NamenodeProtocol版本号3L
  public static final long versionID = 3L;


  //获得指定DataNode上的所有blocks
  public BlocksWithLocations getBlocks(DatanodeInfo datanode, long size)
  throws IOException;


  //获得当前block keys
  public ExportedBlockKeys getBlockKeys() throws IOException;


  //获得editlog文件大小
  public long getEditLogSize() throws IOException;


  //参考第2步 http://zy19982004.iteye.com/blog/1870624
  public CheckpointSignature rollEditLog() throws IOException;


  //参考第456步 http://zy19982004.iteye.com/blog/1870624
  public void rollFsImage() throws IOException;
}

 

 

七. RefreshAuthorizationPolicyProtocol

/**
 * Protocol which is used to refresh the authorization policy in use currently.
 */
public interface RefreshAuthorizationPolicyProtocol extends VersionedProtocol {
  
  public static final long versionID = 1L;

  /**
   * Refresh the service-level authorization policy in-effect.
   * @throws IOException
   */
  void refreshServiceAcl() throws IOException;
}

 

八. RefreshUserMappingsProtocol

public interface RefreshUserMappingsProtocol extends VersionedProtocol {

  public static final long versionID = 1L;

  public void refreshUserToGroupsMappings() throws IOException;
  
  public void refreshSuperUserGroupsConfiguration() 
  throws IOException;
}