MooseFS(MFS)安装手记（一）

        MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：

       1 管理服务器managing server (master)

              负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝

       2 元数据日志服务器Metalogger server（Metalogger）

               负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master server出问题的时候接替其进行工作

      3 数据存储服务器data servers (chunkservers)

               负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输.

     4 客户机挂载使用client computers(需要FUSE支持)

              通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix文件系统使用一样的效果.

 一般架构如下：

 MFS的读数据过程：

MFS的写数据过程：

 实验环境如下：

       master：10.1.1.175

       metalogger：10.1.1.40

       chunkserver：10.1.1.173/10.1.1.176

       client：10.1.1.174

       mfs版本：mfs-1.6.19.tar.gz

 master server 的安装：

      在安装maste server服务器时我们可以取消安装chunkserver和客户端安装，具体步骤如下：

useradd -s /bin/nologin mfs
tar zxvf mfs-1.6.19.tar.gz
cd mfs-1.6.19
./configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --sysconfdir=/etc/mfs \
--localstatedir=/var/lib --disable-mfsmount --disable-mfschunkserver

make&&make install

     安装成功后在/etc/mfs目录下会有以.dist结尾的文件，由于我们这台机器做master所以需要两个文件mfsexports.cfg和 mfsmaster.cfg，所有配置文件的值都是被注释掉的，他们是默认生效的，如果要修改去掉注释修改即可。

    mfsmaster.cfg是主配置文件

vi mfsmaster.cfg

#运行master的用户
# WORKING_USER = mfs

#运行master的组
# WORKING_GROUP = mfs

#master server在syslog中的标示，表示是由master产生
# SYSLOG_IDENT = mfsmaster

#是否执行mlockall，以避免master进程溢出
# LOCK_MEMORY = 0

#进程优先级，默认是-19时必须以root启动
# NICE_LEVEL = -19

#被挂载目录配置文件的位置
# EXPORTS_FILENAME = /etc/mfs/mfsexports.cfg

#数据存放路径，有sessions，stats，metadata，changelog等日志
# DATA_PATH = /var/lib/mfs

#metadata更改的log文件数目
# BACK_LOGS = 50

#延迟复制时间
# REPLICATIONS_DELAY_INIT = 300

#chunkserver断开的复制延迟
# REPLICATIONS_DELAY_DISCONNECT = 3600

#metalog监听的ip地址和端口
# MATOML_LISTEN_HOST = *
# MATOML_LISTEN_PORT = 9419

#用于chunkserver连接的ip地址和端口
 MATOCS_LISTEN_HOST = 10.1.1.175
# MATOCS_LISTEN_PORT = 9420

#用于客户端挂载的ip地址和端口
 MATOCU_LISTEN_HOST = 10.1.1.175
# MATOCU_LISTEN_PORT = 9421

#chunk的回环频率
# CHUNKS_LOOP_TIME = 300

#chunk在loop中被删除的最大延迟时间
# CHUNKS_DEL_LIMIT = 100
# CHUNKS_WRITE_REP_LIMIT = 1
# CHUNKS_READ_REP_LIMIT = 5

# REJECT_OLD_CLIENTS = 0

# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmaster.lock

     mfsexports.cfg 对被挂载目录权限的设置

vi mfsexports.cfg

# Allow everything but "meta".
10.1.1.0/24                     /       rw,alldirs,maproot=0
# Allow "meta".
10.1.1.0/24                     .       rw
#*                      /       ro
#192.168.1.0/24         /       rw
#192.168.1.0/24         /       rw,alldirs,maproot=0,password=passcode
#10.0.0.0-10.0.0.5      /test   rw,maproot=nobody,password=test
#10.1.0.0/255.255.0.0   /public rw,mapall=1000:1000

     第一部分为客户端ip地址

            可以有多种显示方式

    第二部分为被挂载目录

              /   表示moosefs的跟

             *  表示mfsmeta文件系统

    第三部分为用户权限

             ro   只读模式

             rw  读写模式

             alldirs   允许挂载任何指定的子目录

             maproot    映射为root用户

             passwd    指定客户端密码

开始启动master server

        由于我们安装时指定了--localstatedir=/var/lib ，所以metadata和changelog都保存在/var/lib/mfs下面，在第一次安装master server时会生成一个metadata.mfs.empty文件，他是空的，master运行必须有metadata.mfs，所以只要改变metadata.mfs.empty的名字即可。

      进入/usr/local/mfs/sbin目录：

启动之后查看master进程：

    注意：在关闭master server不要使用kill命令，使用./mfsmaster -s 关闭即可。

metalogger的安装：

     在安装metalogger时我们可以取消安装chunkserver和客户端安装，一旦master server故障，导入changelogs，metalogger服务器便可以替代master server，安装方法和master server方法一样：

useradd -s /bin/nologin mfs
tar zxvf mfs-1.6.19.tar.gz
cd mfs-1.6.19
./configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --sysconfdir=/etc/mfs \
--localstatedir=/var/lib --disable-mfsmount --disable-mfschunkserver

make&&make install

在/etc/mfs/目录下把mfsmetalogger.cfg.dist变为mfsmetalogger.cfg即可，metalogger服务器只需要一个配置文件

vi mfsmetalogger.cfg

# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmetalogger
# LOCK_MEMORY = 0
# NICE_LEVEL = -19

# DATA_PATH = /var/lib/mfs

# BACK_LOGS = 50
# META_DOWNLOAD_FREQ = 24

# MASTER_RECONNECTION_DELAY = 5

#MASTER_HOST是master server的ip地址
 MASTER_HOST = 10.1.1.175
# MASTER_PORT = 9419

# MASTER_TIMEOUT = 60

# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmetalogger.lock

        大部分参数和master server的参数一样，具体意思可参看master的配置，启动metalogger服务，在/usr/local/mfs/sbin目录下./mfsmetalogger start即可，关闭也是不要用kill ./mfsmetalogger  -s 即可。

chunkserver的安装：

         在安装chunkserver时我们可以取消master的安装，方法如下：

useradd -s /bin/nologin mfs
tar zxvf mfs-1.6.19.tar.gz
cd mfs-1.6.19
./configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --sysconfdir=/etc/mfs \
--localstatedir=/var/lib  --disable-mfsmaster

make&&make install

在/etc/mfs目录下需要把mfschunkserver.cfg.dist  mfshdd.cfg.dist改成mfschunkserver.cfg  mfshdd.cfg即可。

mfschunkserver.cfg是主配置文件

vi mfschunkserver.cfg

# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfschunkserver
# LOCK_MEMORY = 0
# NICE_LEVEL = -19

# DATA_PATH = /var/lib/mfs

# MASTER_RECONNECTION_DELAY = 5

#本地地址，用来连接master的
 BIND_HOST = 10.1.1.173

#元数据服务器的ip地址和端口
 MASTER_HOST = 10.1.1.175
# MASTER_PORT = 9420

# MASTER_TIMEOUT = 60

#这个端口用于和其他chunkserver之间的连接，一般是复制数据
# CSSERV_LISTEN_HOST = *
# CSSERV_LISTEN_PORT = 9422
# CSSERV_TIMEOUT = 5

#分配给MFS磁盘空间的配置文件的位置
# HDD_CONF_FILENAME = /etc/mfs/mfshdd.cfg
# HDD_TEST_FREQ = 10

# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfschunkserver.lock
# BACK_LOGS = 50

mfshdd.cfg是分配给MFS使用空间的配置文件

vi mfshdd.cfg
# mount points of HDD drives
#/mnt/hd1
#/mnt/hd2
#etc.
/mfs

      我们新建了一个分区直接挂载到/mfs下面，建议在chunkserver上单独划分空间给mfs使用，方便管理。启动之前确保mfs用户对/mfs可读写。

在/usr/local/mfs/sbin目录下./mfschunkserver start即可

客户端的安装：

        为了挂载基于MooseFS的分布式文件系统，需要FUSE的支持。

fuse简介

       用户空间文件系统（Filesystem in Userspace，简称FUSE）是操作系统中的概念，指完全在用户态实现的文件系统。目前Linux通过内核模块对此进行支持。一些文件系统如ZFS，glusterfs和lustre使用FUSE实现。Linux用于支持用户空间文件系统的内核模块名叫FUSE，FUSE一词有时特指Linux下的用户空间文件系统。文件系统是一个通用操作系统重要的组成部分。传统上操作系统在内核层面上对文件系统提供支持。而通常内核态的代码难以调试，生产率较低。Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统。

       在用户空间实现文件系统能够大幅提高生产率，简化了为操作系统提供新的文件系统的工作量，特别适用于各种虚拟文件系统和网络文件系统。上述ZFS和glusterfs都属于网络文件系统。但是，在用户态实现文件系统必然会引入额外的内核态/用户态切换带来的开销，对性能会产生一定影响。

        fuse内核模块和fuse lib库通过一个文件描述符通信，/dev/fuse 文件描述符可以被打开多次，获得的文件描述符被传递到mount系统调用，用来匹配已经挂载的文件系统。

安装fuse

tar zxvf fuse-2.8.5.tar.gz
cd fuse-2.8.5
./configure
make && make install

安装客户端

useradd -s /bin/nologin mfs
tar zxvf mfs-1.6.19.tar.gz
cd mfs-1.6.19
./configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --sysconfdir=/etc/mfs \
--localstatedir=/var/lib --disable-mfsmaster --enable-mfsmount \
--disable-mfschunkserver


make&&make install

进入/usr/local/mfs/bin目录下，./mfsmount --help 即可看到mfsmount的用法。

 MFS集群启动：

        1  启动master server

        2  启动chunk server

        3  启动metalogger

        4  启动客户端，使用mfsmount挂载相关目录

 MFS集群停止：

         1 所有客户端卸载MooseFS文件系统

         2 停止chunkserver

         3 停止metalogger

         4 停止master server