分布式文件系统KFS基础知识介绍

Kosmos distributed file system，简称KFS，是一个类GFS的分布式文件系统，被设计用于分布式的结构化存储。下面将对KFS的体系结构进行简单介绍，最后给出一个使用KFS C++ API的示例。

1. KFS体系结构

KFS和GFS的整体结构类似，图中所示为GFS的体系结构图（来自于Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung的论文“The Google File System”）：

 

KFS系统由三部分组成，分别是metaserver（相当于GFS master）、chunkserver（相当于GFS chunkserver）和client library（相当于GFS client）：

• metaserver：元数据服务器，使用B+树存储分布式文件系统的全局文件系统命名空间，一个KFS中仅有一个metaserver；
• chunkserver： 一个大文件被切分成许多固定大小的文件块block，文件块block被以chunk的方式存储在独立的chunkserver上，每个 chunkserver上可能存不同文件的block，一个block会被存在不同的chunkserver上（默认为3份）；在一个KFS中，有一系列 的chunkserver，chunkserver将chunk存储在底层的文件系统（如Linux的XFS、EXT2）；
• client library：提供文件系统访问的API，使应用可以通过接口操纵KFS；在将实际的应用和KFS集成起来时，需要在应用中包含KFS的客户端库文件。

下面以KFS client端对某一文件的访问为例，说明KFS的工作流程。假设该文件名为/kfs/testdata，分为以下几步完成：

• client端以该路径名/kfs/testdata为参数，向metaserver发出请求；
• metaserver将该文件对应的文件属性信息返回到client端；
• client端将文件名和对应的文件偏移(file name, chunk index)为关键字发送给metaserver；
• metaserver对所管理的各chunkserver进行分析，将拥有该偏移块的(chunk handle, chunk locations)返回给client端；
• client端以(chunk handle, byte range)为关键字，向相应的chunkserver发送数据读写请求；
• chunkserver返回对应数据区段的chunk data给client端；
• client端得到chunk data。

2. KFS API调用

KFS 支持的客户端包括有C++、Java和Python，以C++为例，KFS客户端API调用的一般过程如下：首先，调用 getKfsClientFactory()->SetDefaultClient(serverHost, port)方法，获取一个KfsClient类型的指针；然后，通过这个KfsClient类型的指针，调用所需的文件系统的函数（如创建目录、删除目 录、创建文件、删除文件、获取文件信息等）。

下面给出一个示例，通过调用KFS的C++ API，得到文件的stat信息（该代码不能直接运行）：

 1 usingnamespace KFS;
 2 usingnamespace KFS::tools;
 3 KfsFileStat statInfo;
 4 KfsClientPtr kfsClient = getKfsClientFactory()->SetDefaultClient(serverHost, port);
 5 if (!kfsClient) {
 6      cout <<"failed to initialize kfs client!"<< endl;
 7       exit(0);
 8 }
 9 if (verboseLogging) {
10        KFS::MsgLogger::SetLevel(log4cpp::Priority::DEBUG);
11 } else {
12        KFS::MsgLogger::SetLevel(log4cpp::Priority::WARN);
13 } 
14 if (kfsClient->Stat(kfsPath, statInfo) <0) {
15     cout <<"KFS path: "<< kfsPath <<" is non-existent!"<< endl;
16     exit(-1);
17 }

有关其他文件系统访问接口的调用方法与上述示例类似，具体可参考kfs目录下examples子目录中的C++ example代码以及Java example代码。