leveldb之log写操作

当应用要插入一条记录时，leveldb首先是将其写入到log中，若成功，则继续将其插入到memtable中。因此，当系统故障而memtable又没有来得及将数据存放到内存中，那么就可以通过log文件来恢复数据，保证数据不会丢失。
由于log的读比较复杂，因此将主要介绍log的写操作。

在class DBImpl中主要有两个与log相关的成员变量：log::Writer* log_; 和 WritableFile* logfile_;
其中log_用于向logfile_中增加一条记录 ，logfile_主要用于对log文件进行同步、刷新等操作

1、Writer类

class Writer {
 public:
  explicit Writer(WritableFile* dest);
  ~Writer();

  Status AddRecord(const Slice& slice);

 private:
  WritableFile* dest_;  //以一个WritableFile对象作为Writer的成员，Writer则是将要插入的记录插入到dest_中
  int block_offset_;       // 当前位置在Block中的偏移
  uint32_t type_crc_[kMaxRecordType + 1];//CRC

  Status EmitPhysicalRecord(RecordType type, const char* ptr, size_t length);//调用Append写入数据

};

Writer类对外只提供了一个方法AddRecord()用于加入一条记录，同时其中还有一个WritableFile成员变量，记录最终是插入到WritableFile创建的文件中的。

根据leveldb源码可知，log文件每次都是以32K的物理Block为单位进行操作的，因此log文件可看作是由很多个连续的32K的Block组成的。插入一条数据时，首先确定数据在Block中的起始位置，然后不断写入到log文件中。

Status Writer::AddRecord(const Slice& slice) {
  const char* ptr = slice.data();
  size_t left = slice.size();

  Status s;
  bool begin = true;
  do {
    const int leftover = kBlockSize - block_offset_;//当前Block中的剩余空间
    assert(leftover >= 0);
    if (leftover < kHeaderSize) {//若剩余空间比固定头部要小，则要在一个新Block的开始写入数据
      if (leftover > 0) {
        // Fill the trailer (literal below relies on kHeaderSize being 7)
        assert(kHeaderSize == 7);
        dest_->Append(Slice("\x00\x00\x00\x00\x00\x00", leftover));//尾部填充
      }
      block_offset_ = 0;//块内偏移置0
    }

    const size_t avail = kBlockSize - block_offset_ - kHeaderSize;//当前Block中，可用于填充数据的长度
    const size_t fragment_length = (left < avail) ? left : avail;//第一个要写入Block的分段的长度

    RecordType type;
    const bool end = (left == fragment_length);//若end=1,则表明所有数据都可存放在当前Block中
    if (begin && end) {//根据begin和end确定当前记录的类型type
      type = kFullType;
    } else if (begin) {
      type = kFirstType;
    } else if (end) {
      type = kLastType;
    } else {
      type = kMiddleType;
    }

    s = EmitPhysicalRecord(type, ptr, fragment_length);//将固定头部和fragment_length长的分段写入到log文件dest_中
    ptr += fragment_length;//指向数据的指针向前移动已写入长度
    left -= fragment_length;//剩余待写入长度减小
    begin = false;
  } while (s.ok() && left > 0);
  return s;
}

要写入的记录分为固定头部和待写入数据两部分，其中固定头部包括：CRC（4字节）、记录长度（2字节）、type（1字节）共7字节。而待写入数据一般是经过WriteBatch组织的一条记录（主要包括type（kTypeValue或kTypeDeletion）、key、value）。

2、WritableFile类

class WritableFile {
 public:
  WritableFile() { }
  virtual ~WritableFile();

  virtual Status Append(const Slice& data) = 0;//写入记录
  virtual Status Close() = 0;//关闭文件
  virtual Status Flush() = 0;//刷新文件
  virtual Status Sync() = 0;//同步文件
};

WritableFile类只是作为一个抽象基类，定义了一些纯虚函数作为接口，最终作为父类被继承。
leveldb中定义的一个子类为class PosixWritableFile：

class PosixWritableFile : public WritableFile {
 private:
  std::string filename_;//要操作的文件名
  FILE* file_;//最终要操作的文件

 public:

  virtual Status Append(const Slice& data) {
    size_t r = fwrite_unlocked(data.data(), 1, data.size(), file_);//调用fwrite将数据写入到file_中
    return Status::OK();
  }
  virtual Status Close() {
    Status result;
    if (fclose(file_) != 0) {//关闭文件
      result = IOError(filename_, errno);
    }
    file_ = NULL;
    return result;
  }
  virtual Status Flush() {
    if (fflush_unlocked(file_) != 0) {//刷新文件
      return IOError(filename_, errno);
    }
    return Status::OK();
  }
  virtual Status Sync() {//同步文件
    // Ensure new files referred to by the manifest are in the filesystem.
    Status s = SyncDirIfManifest();
    if (fflush_unlocked(file_) != 0 ||
        fdatasync(fileno(file_)) != 0) {
      s = Status::IOError(filename_, strerror(errno));
    }
    return s;
  }
};

WritableFile类在写入数据时不会对数据进行任何封装、修改操作，而是直接将数据写入到log文件中。
因此我们一般插入一个Key-Value对时，首先会调用batch.Put(key, value);将其组织成一条记录，然后调用Write::AddRecord()，在log文件中找到合适的位置，同时为每一条记录增加一个头部，再将其写入到log文件中。然后调用WritableFile的Flush()、Sync()等方法来对log文件进行操作。