MFS 安装学习

 (1)关于MOoseFS

到目前为止，有数十种以上的分布式文件系统解决方案可选择，如Lustre、Hadoop、

PNFS等，现在我们来介绍下MFS这种分布式文件系统来作为我们的共享存储服务器。

为什么选择他，我们来看看一些看法:

. 实施起来简单

. 不停服务扩容。（MFS框架做好后，随时可以增加服务器的扩充容量和减少

 服务器的容量不影响现有的服务

. 恢复服务容易

(2)MFS文件系统的组成

MFS分布系统由元数据服务器、元数据日志服务器（也称备份服务器）、数据存储服务器

客户端（用户主机）等几部分组成

. 元数据服务器。在整个体系中负责管理文件系统，目前MFS只支持一个元数据服务器

 Master，这是一个单点故障，需要一个性能稳定的服务器来充当，希望今后MFS能支持

 多个Master服务器，进一步提高系统的可靠性

 

. 元数据日志服务器(Metalogger).备份Master服务器的变化日志文件，文件类型为

changelog_ml.*.mfs，当元数据服务器数据丢失或者损毁，可从日志服务器取得文件

进行恢复

 

. 数据存储服务器Chunk Server，真正存储用户数据的服务器，存储文件时，首先把

 文件分成块，然后这些快在数据服务器Chunk Server之间复制（复制份数科院手工

 指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可以使用的

 磁盘空间越大，可靠性越高

 

. 客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件

 系统以后，就可以像以前用NFS一样共享这个虚拟性的存储了

(3)MFS读写处理过程

* MFS读取数据步骤：

1. 客户端向元数据服务器发出请求

2. 元数据服务器把所需数据存放的位置(Chunk Server 的IP地址及Chunk编号）告知客户端

3. 客户端向已知Chunk Server请求发送数据

4. 客户端取得所需数据

数据传输并不通过元数据服务器，这既减轻了元数据服务器的压力，同时也大大增加了

整个系统的吞吐能力，在多个客户端读取数据时，读取点(Chunk Server)有可能被分散到不同

的服务器

* MFS写入数据步骤：

1. 客户端向元数据服务器发送写入请求

2. 元数据服务器与Chunk Server进行交互如下：

(1)元数据服务器指示在某些Chunk Server创建分块Chunks

(2)Chunk Server告知元数据服务器，步骤(1)的操作成功

3. 元数据服务器告知客户端，你可以在哪个Chunk Server的哪个Chunks写入数据

4. 向指定的Chunk Server写入数据

5. 与其他Chunk Server进行数据同步，同步的服务器依据设定的副本数而定，副本

 为2，则需同步一个ChunkServer

6. Chunk Sever之间同步成功

7. Chunk Server告知客户端数据写入成功

8. 客户端告知元数据服务器本次写入完毕

* MFS的删除文件过程

1. 客户端有删除操作时，首先向Master发送删除信息；

2. Master定位到相应元数据信息进行删除，并将chunk server上块的删除操作加入队列异步清理；

3. 响应客户端删除成功的信号

* MFS修改文件内容的过程

1. 客户端有修改文件内容时，首先向Master发送操作信息；

2. Master申请新的块给.swp文件，

3. 客户端关闭文件后，会向Master发送关闭信息；

4. Master会检测内容是否有更新，若有，则申请新的块存放更改后的文件，删除原有块和.swp文件块；

5. 若无，则直接删除.swp文件块。

* MFS重命名文件的过程

1. 客户端重命名文件时，会向Master发送操作信息；

2. Master直接修改元数据信息中的文件名；返回重命名完成信息；

* MFS遍历文件的过程

1. 遍历文件不需要访问chunk server，当有客户端遍历请求时，向Master发送操作信息；

2. Master返回相应元数据信息；

3. 客户端接收到信息后显示

注：

 1、Master记录着管理信息，比如：文件路径|大小|存储的位置(ip,port,chunkid)|份数|时间等，元数据信息

 存在于内存中，会定期写入metadata.mfs.back文件中，定期同步到metalogger，操作实时写入changelog.*.mfs，

 实时同步到metalogger中。master启动将metadata.mfs载入内存，重命名为metadata.mfs.back文件。

 

 2、文件以chunk大小存储，每chunk最大为64M，小于64M的，该chunk的大小即为该文件大小（验证实际chunk文件略

 大于实际文件），超过64M的文件将被切分，以每一份（chunk）的大小不超过64M为原则；块的生成遵循规则：目录

 循环写入(00-FF 256个目录循环，step为2)、chunk文件递增生成、大文件切分目录连续。

 

 3、Chunkserver上的剩余存储空间要大于1GB（Reference Guide有提到），新的数据才会被允许写入，否则，你会看

 到No space left on device的提示，实际中，测试发现当磁盘使用率达到95%左右的时候，就已经不行写入了，当时

 可用空间为1.9GB。

 

 4、文件可以有多份copy，当goal为1时，文件会被随机存到一台chunkserver上，当goal的数大于1时，copy会由master

 调度保存到不同的chunkserver上，goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去存。

 

三、MFS的安装、部署、配置

 

测试环境：

IP　　　　 作用　　　　　　　　　　

192.168.0.1 master server

192.168.0.2 metalogger server

192.168.0.3 chunk server

 

192.168.0.4 chunk server

192.168.0.5 mfs client

3.1  Master Server

 

在192.168.0.1进行如下操作：

 

3.1.1 安装:
    # useradd mfs -s /sbin/nologin
    # wget http://www.moosefs.org/tl_files/mfscode/mfs-1.6.20-2.tar.gz
 # tar zxvf mfs-1.6.20-2.tar.gz
    # cd mfs-1.6.20-2/
    # ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
 --disable-mfschunkserver --disable-mfsmount
    # make
    # make install
    # cd /usr/local/mfs/etc
    # cp mfsmaster.cfg.dist mfsmaster.cfg  #主配置文件
    # cp mfsexports.cfg.dist mfsexports.cfg #被挂接目录及权限配置

3.1.2 配置：
    #   vi /usr/local/mfs/etc/mfsmaster.cfg
    # WORKING_ USER = mfs      #运行master server 的用户
    # WORKING_ GROUP = mfs     #运行master server 的组
    # SYSLOG_IDENT = mfsmaster #master server 在syslog 中的标识，说明是由master serve 产生的
    # LOCK_MEMORY = 0          #是否执行mlockall()以避免mfsmaster 进程溢出（默认为0）
    # NICE_LEVEL = -19         #运行的优先级(如果可以默认是-19; 注意: 进程必须是用root 启动)
    # EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg #被挂接目录及其权限控制文件的存放位置
    # DATA_PATH = /usr/local/mfs/var/mfs    #数据存放路径，此目录下大致有三类文件，changelog，sessions 和stats；
    # BACK_LOGS = 50                        #metadata 的改变log 文件数目(默认是50);
    # REPLICATIONS_ DELAY_INIT = 300        #延迟复制的时间（默认是300s）;
    # REPLICATIONS_ DELAY_DISCONNECT = 3600 #chunkserver 断开的复制延迟（默认是3600）；
    # MATOML_LISTEN_HOST = *     #metalogger 监听的IP 地址(默认是*，代表任何IP)；
    # MATOML_LISTEN_PORT = 9419 #metalogger 监听的端口地址(默认是9419)；
    # MATOCS_LISTEN_ HOST = *   #用于chunkserver 连接的IP 地址（默认是*，代表任何IP）；
    # MATOCS_LISTEN_PORT = 9420 #用于chunkserver 连接的端口地址（默认是9420）；
    # MATOCU_LISTEN_HOST = *    #用于客户端挂接连接的IP 地址(默认是*，代表任何IP)；
    # MATOCU_LISTEN_PORT = 9421 #用于客户端挂接连接的端口地址（默认是9421）；
    # CHUNKS_LOOP_TIME = 300    #chunks 的回环频率（默认是：300 秒）；# CHUNKS_DEL_LIMIT = 100
    # CHUNKS_WRITE_REP_LIMIT = 1 #在一个循环里复制到一个chunkserver 的最大chunk 数目（默认是1）
    # CHUNKS_READ_REP_LIMIT = 5  #在一个循环里从一个chunkserver 复制的最大chunk 数目（默认是5）
    # REJECT_OLD_ CLIENTS = 0    #弹出低于1.6.0 的客户端挂接（0 或1，默认是0）

注意：
 1、凡是用#注释掉的变量均使用其默认值
 2、修改DATA_PATH指定的目录要权限为mfs，chown -R mfs:mfs /usr/local/mfs/var/mfs
 3、mfsexports 访问控制对于那些老客户是没用的
 4、注意开通监听的端口

    # vi /usr/local/mfs/etc/mfsexports.cfg    #客户端IP        允许挂载的目录  客户端拥有的权限
    192.168.0.0/24     /            rw,alldirs,maproot=0  # /标识MFS的根
    192.168.0.0/24     .            rw                    # .标识MFSMETA 文件系统

    地址可以指定的格式：

    IP格式　　　         说明
        *               所有的ip 地址
    n.n.n.n             单个ip 地址
    n.n.n.n/b           IP 网络地址/位数掩码
    n.n.n.n/m.m.m.m　　   IP 网络地址/子网掩码
    f.f.f.f-t.t.t.t     IP 段

    权限说明：
    权限　　    　   说明
    ro          只读模式
    rw          读写模式
    alldirs     许挂载任何指定的子目录
    maproot     映射为root，还是指定的用户
    password    指定客户端密码

3.1.3  操作：

# /usr/local/mfs/sbin/mfsmaster [-vdu] [-t locktimeout] [-c cfgfile]
[start|stop|restart|reload]
 #master服务操作#/usr/local/mfs/sbin/mfscgiserv  #启动WEBUI 监控服务，
访问http://192.168.0.1:9425/

注意：
    最好不要kill master，安全停止执行mfsmaster stop，否则下次启动因metadata.mfs.back而出现问题，
还需
    要使用备份来恢复。

文件说明：

#ls -l /usr/local/mfs/var/mfs  #此目录见mfsmaster.cfg中DATA_PATH配置
      metadata.mfs.back  #MFS元数据信息，延迟将内存数据写入文件，默认频率1h，默认1d同步一次此文件
 到metalogger server
      changelog.*.mfs      #文件操作日志记录，实时记录、同步到metalogger server
      sessions.mfs  #客户操作状态记录
      stats.mfs        #？