fsimage 和 edit 的区别?思维导图 代码示例（java 架构)

在Hadoop的HDFS（Hadoop Distributed File System）中，fsimage 和 edits 文件是NameNode用来维护文件系统元数据的重要组成部分。它们各自有不同的作用和生命周期。

fsimage 和 edits 的区别

FsImage

• 定义：FsImage 是一个文件，它包含了HDFS文件系统的完整快照，包括所有目录、文件及其属性（如权限、副本数等）。
• 用途：
  • 当NameNode启动时，它会从FsImage加载整个文件系统的状态到内存中。
  • FsImage提供了文件系统的一个静态视图，反映了最后一次检查点的时间点。
• 生成方式：
  • 初始创建时由格式化命令生成。
  • 随后通过Secondary NameNode或Checkpoint Node定期合并Edits日志来更新FsImage。

Edits (Edit Log)

• 定义：Edits是一个日志文件，记录了自上次创建或合并FsImage以来对文件系统所做的所有更改操作（如创建、删除文件/目录，修改属性等）。
• 用途：
  • 在NameNode运行期间，所有的文件系统变更都会先写入Edits日志，以确保即使NameNode崩溃也能恢复这些未持久化的更改。
  • 当NameNode重启时，它会先读取FsImage重建文件系统的初始状态，然后应用Edits中的所有操作，从而恢复到最新的文件系统状态。
• 生成方式：
  • 每当发生文件系统变更时，NameNode会立即将该变更追加到Edits文件中。

思维导图描述

• FsImage vs Edits
  • FsImage
    • 完整快照
      • 包含文件系统结构
      • 包括文件和目录属性
    • 启动加载
      • NameNode启动时加载
      • 提供静态视图
    • 更新机制
      • 初始创建
      • 定期合并Edits
  • Edits (Edit Log)
    • 变更日志
      • 记录所有文件系统更改
      • 确保未持久化更改可恢复
    • 应用顺序
      • 先读取FsImage
      • 再应用Edits中的操作
    • 更新机制
      • 实时追加
      • 每次文件系统变更时

Java代码示例（与HDFS交互）

下面是一个简单的Java程序，展示了如何使用Hadoop提供的API与配置好的HDFS进行交互，并间接涉及到FsImage和Edits的工作原理：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;

public class HdfsInteractionExample {

    public static void main(String[] args) {
        String hdfsUri = "hdfs://namenode:8020"; // 替换为你的HDFS URI
        Configuration conf = new Configuration();
        
        try (FileSystem fs = FileSystem.get(new URI(hdfsUri), conf)) {
            // 创建目录
            Path dirPath = new Path("/user/example/newdir");
            if (fs.mkdirs(dirPath)) {
                System.out.println("Directory created.");
            } else {
                System.out.println("Failed to create directory.");
            }

            // 上传文件
            Path src = new Path("/path/to/local/file.txt"); // 本地文件路径
            Path dst = new Path("/user/example/newdir/file.txt"); // HDFS目标路径
            fs.copyFromLocalFile(false, true, src, dst);
            System.out.println("File uploaded.");

            // 注意：上述操作会在Edits日志中记录下来
            // 当NameNode重启时，它将根据FsImage和Edits恢复文件系统状态

        } catch (IOException | InterruptedException | URISyntaxException e) {
            System.err.println("Error interacting with HDFS: " + e.getMessage());
        }
    }
}

在这个例子中，我们执行了一些基本的HDFS操作，比如创建目录和上传文件。这些操作会被记录在Edits日志中，而当NameNode重启时，它会首先加载FsImage，然后应用Edits中的所有操作来恢复最新的文件系统状态。

关于FsImage和Edits的工作流程

1. 正常操作期间：

   • 所有的文件系统变更（例如创建新文件、删除文件等）都会被立即写入Edits日志。

2. NameNode重启时：

   • NameNode会先从最近的FsImage文件中加载文件系统的初始状态。
   • 然后，它会遍历Edits日志，重放其中的所有操作，以确保文件系统恢复到最新的状态。

3. 检查点过程：

   • Secondary NameNode或Checkpoint Node会定期触发一个检查点过程，在这个过程中，它会读取当前的FsImage和Edits日志，将它们合并成一个新的FsImage文件，并清空旧的Edits日志。
   • 新的FsImage文件会被复制回NameNode，作为下一次启动的基础。

4. 故障恢复：

   • 如果NameNode意外关闭或崩溃，它可以依赖FsImage和Edits日志来重建文件系统的最新状态，从而实现高可用性和数据一致性。

通过这种方式，HDFS能够在保证性能的同时，也确保了数据的可靠性和持久性。