Hadoop学习二十二：Hadoop-Hdfs INode源码

阅读更多

一. INode类图

 

二. INode

•       We keep an in-memory representation of the file/block hierarchy.This is a base INode class containing common fields for file and directory inodes.INode是文件层次结构的反应。
• INode两个子类：INodeDirectory代表文件目录；INodeFile对应文件。INodeDirectoryWithQuota代表带容量限制的目录，限制了INodeDirectory的使用空间，包含namespace和磁盘空间；INodeFileUnderConstruction代表正在构建的文件，因为有些文件创建时间比较长，目录系统用INodeFileUnderConstruction维护这一信息。
• INode

  abstract class INode implements Comparable {
    protected byte[] name;	//文件/目录名
    protected INodeDirectory parent;	//父目录
    protected long modificationTime;	//最后修改时间
    protected long accessTime;	//最后访问时间
    private long permission;	//permission是访问权限。HDFS采用了和UNIX/Linux类似的访问控制机制。
    							//系统维护了一个类似于UNIX系统的组表（group）和用户表（user），并给每一个组和用户一个ID
    							//permission在INode中是long型，它同时包含了组和用户信息。
  }

   

三. INodeDirectory

•  INodeDirectory是HDFS管理的目录的抽象。
• INodeDirectory维护着多个INode。其方法不外乎增删改查这些INode。

  private List children;

四.DatanodeID

• DatanodeID代表一个DataNode，包含了DataNode的配置信息。

    public String name;       // hostname:port (data transfer port)
    public String storageID;  // unique per cluster storageID
    protected int infoPort;   // info server port
    public int ipcPort;       // ipc server port

 

五.DatanodeInfo

• DatanodeInfo继承DatanodeID。
• DatanodeInfo增加了一些动态信息。

    protected long capacity;
    protected long dfsUsed;
    protected long remaining;
    protected long lastUpdate;
    protected int xceiverCount;

六.DatanodeDescriptor

• DatanodeDescriptor继承DatanodeInfo。
• DatanodeDescriptor增加了DataNode上block的动态信息。
• DatanodeDescriptor.BlockTargetPair：代表一个block和此block所处DataNodes的信息的对应关系。

      public final Block block;
      public final DatanodeDescriptor[] targets; 

• DatanodeDescriptor.BlockQueue：维护者一系列BlockTargetPair。

  private final Queue blockq = new LinkedList();

• DatanodeDescriptor维护者一个BlockInfo和两个BlockQueue和一个Set。

    private volatile BlockInfo blockList = null;
  
    /** A queue of blocks to be replicated by this datanode */
    //该DataNode上正在复制（replicateBlocks）的Block
    private BlockQueue replicateBlocks = new BlockQueue();
    /** A queue of blocks to be recovered by this datanode */
    //该DataNode上正在Lease恢复（recoverBlocks）的Block
    private BlockQueue recoverBlocks = new BlockQueue();
    /** A set of blocks to be invalidated by this datanode */
    //该DataNode上已经失效的Block
    private Set invalidateBlocks = new TreeSet();

 

七.BlockInfo

•  BlockInfo继承Block。
• BlockInfo保存了该Block归属的INodeFile和DatanodeDescriptor，同时还包括了它的前继和后继Block。

  private INodeFile  inode;
  private Object[] triplets;

• 一个BlockInfo结构如下，tripltes[0]指向此BlockInfo所在的DatanodeDescriptor，tripltes[1]指前继BlockInfo，tripltes[2]指向后继BlockInfo。

八.BlocksMap

•  BlocksMap保存了一系列Block到BlockInfo对应关系的。

   private GSet blocks;

• 结合上图可知，有了BlocksMap，就可以通过Block找对应的文件和这个Block所存放的DataNode的相关信息。

九.INodeFile

• INodeFile是HDFS管理文件的抽象。
• 一个INodeFile对应着多Block。如上图示。

  protected BlockInfo blocks[] 

 

十.分析一条线

1.  http://zy19982004.iteye.com/blog/1890775文中三.8我们提到：定期调用namenode.blockReport()发送block report 告诉NameNode此DataNode上的block信息。接着分析：
2. 看看远程RPC代理类NameNode的blockReport()方法，调用namesystem.processReport(DatanodeRegistration, blockList)。

     public DatanodeCommand blockReport(DatanodeRegistration nodeReg,
                                        long[] blocks) throws IOException {
       namesystem.processReport(nodeReg, blist);
        }

3. FSNamesystem的processReport方法：找到是哪个DataNode发送过来的信息；执行此DataNode的reportDiff方法，找出和现在FSNamesystem维护着的block的差别；FSNamesystem修改差别。

   public synchronized void processReport(DatanodeID nodeID, 
                                            BlockListAsLongs newReport
                                           ) throws IOException {
       DatanodeDescriptor node = getDatanode(nodeID);
       //
       // Modify the (block-->datanode) map, according to the difference
       // between the old and new block report.
       //
       node.reportDiff(blocksMap, newReport, toAdd, toRemove, toInvalidate);
       ...
   }

4. DatanodeDescriptor.reportDiff(...newReport...)：分析差别。因为DatanodeDescriptor保存着此DataNode上所有Block的动态信息，把newReport(就是2里面的blockList)与之比较即可。

十一.说明

      本文有些地方并没有完全区分BlockInfo和Block，为了理解的方便，我会把BlockInfo当成Block；同样的我会把DatanodeDescriptor，DatanodeInfo当成DaNode。