HDFS架构师3.0-元数据管理流程1(主节点双缓冲写)

元数据写流程.png

1、以创建目录的场景 为例贯穿整个流程

自编客户端 FileTest 代码
_>▲★▼
FileSystem fileSystem=FileSystem.newInstance(configuration);
//场景驱动的方式(元数据的更新流程)
fileSystem.mkdirs(new Path("/usr/hive/warehouse/test/mydata"));
mkdirs 是抽象方法

  • The local implementation is {@link LocalFileSystem}
  • and distributed implementation is DistributedFileSystem.
    FileSystem#mkdirs()

    ——》DistributedFileSystem#mkdirs()
    ——》DistributedFileSystem#mkdirsInternal()
    //TODO 重要代码
    return dfs.mkdirs(getPathName(p), permission, createParent);
    ——》DFSClient#mkdirs()
    —— DFSClient#primitiveMkdir()
    //TODO 走的Hadoop的RPC,调用服务端的代码
    return namenode.mkdirs(src, absPermission, createParent); 18}0:15

    ——》 DFSClient#mkdirs()
    //TODO 调用FSNameSystem创建目录的方法
    return namesystem.mkdirs(src,
    ——》 FSNamesystem.mkdirs()
    ——★ 》 FSDirMkdirOp.mkdirs() 0:27

    //TODO 解析要创建目录的路径 /user/hive/warehouse/data/mytable
    src = fsd.resolvePath(pc, src, pathComponents);
    /**
    * 比如我们现在已经存在的目录是 /user/hive/warehouse
    * 我们需要创建的目录是:/user/hive/warehouse/data/mytable
    * 首先找到最后一个INode,其实就是warehouse 这个INode
    /
    final INode lastINode = iip.getLastINode();
    /
    *
    * 已存在: /user/hive/warehouse
    * 要创建: /user/hive/warehouse/data/mytable
    * 需要创建的目录 /data/mytable
    */
    List nonExisting = iip.getPath(existing.length(),
    //TODO 需要创建多级目录走这儿
    if (length > 1) {
    List ancestors = nonExisting.subList(0, length - 1);
    //TODO 如果只需要创建一个目录就走这儿
    if ((existing = createChildrenDirectories(fsd, existing,
    // u+wx permission to all ancestor directories
    existing = createChildrenDirectories(fsd, existing, ancestors,

    ——》 FSDirMkdirOp.createChildrenDirectories() 0:39
    //TODO 一个目录一个目录去创建
    //如果我们只创建的目录只有一个那么这个循环就只运行一次。
    existing = createSingleDirectory(fsd, existing, component, perm);
    ——1 》 FSDirMkdirOp.createSingleDirectory()

    //TODO 更新文件目录树,这棵目录树是存在于内存中的,有FSNameSystem管理的
    //更新内存里面的数据
    existing = unprotectedMkdir(fsd, fsd.allocateNewInodeId(), existing,

//TODO 把元数据信息记录到磁盘上(但是一开始先写到内存)
//往磁盘上面记录元数据日志
fsd.getEditLog().logMkDir(cur, newNode);

                     ——1.1 》  FSEditLog.logMkDir()
                                                             ▼

//TODO 创建日志对象 【构建者模式】 注意积累
MkdirOp op = MkdirOp.getInstance(cache.get())
.setInodeId(newNode.getId())
.setPath(path)
.setTimestamp(newNode.getModificationTime())
.setPermissionStatus(permissions);

       //TODO 记录日志
             logEdit(op);

             ——1.1 .1》  FSEditLog.logEdit()
                                                             ▼

//TODO 步骤一:获取当前的独一无二的事务ID
long start = beginTransaction();
op.setTransactionId(txid);
//TODO 步骤二:把元数据写入到内存缓冲
//这儿的代码写得很晦涩。
editLogStream.write(op);
// check if it is time to schedule an automatic sync
// 看当前的内存大小是否 >= 512kb = true
// !true = false
//这个条件决定了,两个内存是否交换数据
//如果当前的内存写满了,512kb >= 512 kb 我们这儿就会返回true
// !ture = false
// !false =true
if (!shouldForceSync()) {
//TODO 说明这个条件就是进行元数据持久化的一个关键条件
return;
}
//TODO 如果到这儿就说明 当前的那个缓冲区存满了
isAutoSyncScheduled = true;
} //释放锁
//TODO 把数据持久化到磁盘
logSync();
//交换内存,持久化
▲18} 1:30:00

     ——1.1 .1.1》  FSEditLog.logSync()

你可能感兴趣的:(HDFS架构师3.0-元数据管理流程1(主节点双缓冲写))