轻量级分布式系统-moosefs介绍

 

MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色:
1 管理服务器(master)
2 元数据日志服务器(Metalogger)
3 数据存储服务器 (chunkservers)
4 客户机挂载使用

各种角色作用:
  1 管理服务器:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝
  2 元数据日志服务器: 负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作
  3 数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输.
  4 客户端: 通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix文件系统使用一样的效果.吧。

1 Moosefs简介
1.1 角色构成
    整个mfs共计四种角色:master、metalogger、chunk和client
       1、master:只有一台。
       2、metalogger:可以有多台。它负责定期从master下载metadata,并实时同步changelog。metadata和changelog的关系类似于sfrd里面基准和增量的关系。当master挂了的时候,metalogger利用下载下来的metadata和实时同步的changelog来恢复master挂掉时候的metadata。并且接管master的功能。
       3、chunk:提供存储的服务器,可以有多台。这些服务器负责提供存储,它可以自由的启动和停止。在chunk启动后,会主动与master联系,master知道有多少chunk在网络中,并且会定期检查chunk的状态。
       4、client:使用mfs的服务器,可以有多台。它需要运行mfsmount命令,将网络上的存储挂载到本地,看起来类似nfs。client就像读写本地磁盘那样读写mfsmount挂载的网络存储。

2 环境部署
2.1 安装
    对于client端,需要安装fuse程序后,才可以编译mfsmount程序;并且需要加载fuse.ko内核模块后才能正确运行mfsmount命令。
2.1.1 fuse的安装
    fuse-2.8.4.tar.gz,在http://sourceforge.net/projects/fuse/中下载,放到/home/XXXX/opdir/software目录中。
$ tar xvzf fuse-2.8.4.tar.gz
$ su -
<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />
# cd fuse-2.8.4
# ./configure
# make
# make install
    在make install的过程中,需要使用root创建文件,因此这里使用root执行命令。
    编辑/etc/profile这个文件,将以下行填写在最后
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
    完成后,重新登陆或者source /etc/profile目录后,则可以编译安装mfs的client程序。
2.1.2 moosefs的安装
    mfs-1.6.15.tar.gz,在http://sourceforge.net/projects/moosefs/中下载,放到/home/XXXX/opdir/software目录中。
$ tar xvzf mfs-1.6.15.tar.gz
$ cd mfs-1.6.15
$ source /etc/profile
$ ./configure --prefix=/home/XXXX/local/mfs --with-default-user=XXXX  --with-default-group=XXXX --enable-mfsmount
$ make
$ make install
    说明:对于client端的程序,必须加--enable-mfsmount选项以编译mfsmount程序,且这台服务器需要安装fuse程序。master、chunk和metalogger服务器可以不加这个选项,并且不需要安装fuse程序。
2.1.3 加载fuse.ko内核模块
使用root将fuse.ko模块装入内核:
#cd /boot/fuse
#insmod fuse.ko
    可以将该命令放入rc.local,使服务器重启时自动执行。
echo “insmod /boot/fuse/fuse.ko >> /etc/rc.local”
2.2 配置
    在mfs编译安装后,会自动生成初始化配置示例文件。这些文件在${prefix}/etc目录中,并以.cfg.dist结尾。在使用前需要将文件拷贝成.cfg,即去掉.dist。
    master、metalogger和chunk都有一系列的端口配置项,这些端口配置项需要互相匹配,这里简单起见,采用默认配置。对于默认配置,都是这些文件中初始的注释掉的内容,每一行前面的注释符号“#”无需删除。
2.2.1 metalogger的配置
    metalogger有一个配置文件,mfsmetalogger.cfg:
$ cd /home/XXXX/local/mfs/etc
$ cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
    需要修改的配置项如下:
BACK_LOGS = 24
META_DOWNLOAD_FREQ = 1
MASTER_HOST = IP地址或机器名
    说明:
BACK_LOGS = 24                  #changelog的数量,一小时一个,这个配置项的值与master中这个配置项的值保持一致
META_DOWNLOAD_FREQ = 1          #metalogger从master中下载metadata的周期,单位:小时。默认配置是24,表示每天从master中下载一次,此配置最小值是1
MASTER_HOST = IP地址或机器名     #此处配置master的域名或者IP地址
  
2.2.2 master的配置
    master有两个配置文件,mfsmaster.cfg、mfsexports.cfg:
$ cd /home/XXXX/local/mfs/etc
$ cp mfsmaster.cfg.dist mfsmaster.cfg
$ cp mfsexports.cfg.dist mfsexports.cfg
    1、mfsmaster.cfg需要修改的配置项如下:
BACK_LOGS = 24
    说明:
BACK_LOGS = 24        # changelog的数量,一小时一个,这个配置项的值与metalogger中这个配置项的值保持一致
    简单起见,其它配置项采用默认配置。
    2、mfsexports.cfg需要修改的配置项如下:
    简单起见,其它配置项采用默认配置。
 
2.2.3 chunk的配置
    chunk有两个配置文件,mfschunkserver.cfg、mfshdd.cfg:
1、chunk的配置
$ cd /home/XXXX/local/mfs/etc
$ cp mfschunkserver.cfg.dist mfschunkserver.cfg
$ cp mfshdd.cfg.dist mfshdd.cfg
    1、mfschunkserver.cfg需要修改的配置项如下:
MASTER_HOST = IP地址或机器名
    说明:
MASTER_HOST = IP地址或机器名     #此处配置master的域名或者IP地址
     2、mfshdd.cfg需要修改的配置项如下:
    这个配置文件说明chunk服务器贡献出来的存储的路径,比如贡献出/home/XXXX/data这个目录,则在mfshdd.cfg文件中增加如下行:
/home/XXXX/data
   
2.3 启动与停止
    启动顺序最好按照如下的顺序进行:
    1、启动mfs:metalogger->master->chunk
    2、client端使用mfs:mfsmount
   3、说明:
       (1)工作账户:metalogger、master、chunk可以使用configure是--default-user=XXXX这个参数中指明的默认工作账户启动。mfsmount因为是挂在文件系统,因此需要root用户运行。
       (2)master启动后会定期检查是否有metalogger连过来,会定期检查chunk的状态;chunk启动后会主动去连master。
2.3.1 metalogger的启动与停止
1、运行命令:
  (1)启动
$ cd /home/XXXX/local/mfs/sbin
$ ./mfsmetalogger start
或者
$ /home/XXXX/local/mfs/sbin/mfsmetalogger start
(2)停止
$ cd /home/XXXX/local/mfs/sbin
$ ./mfsmetalogger –s
或者
$ /home/XXXX/local/mfs/sbin/mfsmetalogger -s
2、日志:
#tail –f /var/log/messages | grep metalogger
3、说明:
     mfsmetalogger程序运行时不加参数,则默认执行的动作是“停止->启动”。
2.3.2 master的启动与停止
    mfs首次编译安装结束后,在启动mfsmaster之前,需要建立一个初始的metadata文件,使用自带文件即可:
$ cd /home/XXXX/local/mfs/var/mfs
$ cp metadata.mfs.empty metadata.mfs
1、运行命令:
(1)启动
$ cd /home/XXXX/local/mfs/sbin
$ ./mfsmaster start
或者
$ /home/XXXX/local/mfs/sbin/mfsmaster start
(2)停止
$ cd /home/XXXX/local/mfs/sbin
$ ./mfsmaster –s
或者
$ /home/XXXX/local/mfs/sbin/mfsmaster -s
2、日志:
#tail –f /var/log/messages | grep master
3、说明:
mfsmaster程序运行时不加参数,则默认执行的动作是“停止->启动”。
2.3.3 chunk的启动与停止
1、运行命令:
(1)启动
$ cd /home/XXXX/local/mfs/sbin
$ ./mfschunkserver start
或者
$ /home/XXXX/local/mfs/sbin/mfschunkserver start
    (2)停止
$ cd /home/XXXX/local/mfs/sbin
$ ./mfschunkserver –s
或者
$ /home/XXXX/local/mfs/sbin/mfschunkserver -s
2、日志:
#tail –f /var/log/messages | grep chunkserver
3、说明:
mfschunkserver程序运行时不加参数,则默认执行的动作是“停止->启动”。
2.3.4 mfscgiserv的启动
mfscgiserv是python写的简易的webserver,mfs的web端监控系统的应用程序可以通过它供使用者使用。它需要在master服务器中运行,因为监控程序是监控本地启动的mfsmaster程序。
1、命令:
/home/XXXX/local/python/bin/python /home/XXXX/local/mfs/sbin/mfscgiserv
2、访问:
 在浏览器地址栏中输入:http://master_ip:9425
或者
http://master_hostname:9425
  这里面mfscgiserv的默认端口是9425
3、说明:
(1)监控程序放在${prefix}/share /mfscgi目录中,是cgi程序。
(2)监控程序也可通过部署apache来进行访问,以使用更多的webserver的特性。如将mfscgi目录放入/home/XXXX/local/apache/cgi-bin/目录中,访问方法如下:http://master_ip:apache_port/cgi-bin/mfscgi
或者
http://master_hostname:apache_port/cgi-bin/mfscgi
2.3.5 client挂载网络文件系统
由于是挂载文件系统,因此需要使用root执行命令:
1、挂载:
client端使用mfsmount命令挂载mfs,这个过程与nfs的挂载类似。这里client挂载时使用master的IP地址或者机器名。
$ cd /home/XXXX/local/mfs/bin
su -
# ./mfsmount /home/XXXX/var/mfs –H master_IP
2、卸载:
su –
#umount /home/XXXX/var/mfs
3、说明:
/home/XXXX/var/mfs是本地挂载点。client挂载mfs中的哪个目录,具有哪些权限(只读、只写、可读可写)与master中mfsexports.cfg配置文件的内容和client端使用mfsmount命令时的参数有关。

3 Moosefs的日常维护
3.1 master的主备切换
master的主备切换分为两个步骤:一是由metalogger恢复master;二是chunk和client端进行响应的处理。
3.1.1 metalogger恢复master
1、metalogger定期从master下载metadata文件,并实时记录changelog,但是这个“实时”究竟有多么的实时,还得再看看。这个下载metadata和记录changelog的工作有点类似sfrd客户端每天下载基准和导入增量。
2、master挂掉之后,使用metarestore命令将metalogger中的基准和增量变成master需要的metadata,然后启动mfsmaster。master和metalogger可以部署在同一台机器,也可以部署在不同机器。
3、metalogger恢复master时使用的命令:
$ cd /home/XXXX/local/mfs/sbin
$ ./metarestore –a
$ ./mfsmaster
4、说明:
(1)metalogger服务器中需要备份master的两个配置文件,由于配置文件不是经常变化,因此通过定时脚本进行文件同步即可。
(2)当metalogger没有下载metadata之前,不能使用期接管master。此时metarestore程序会运行失败。
(3)metarestore程序是根据metalogger中定期下载的metadata和changelog来恢复master挂掉时刻master所记录的整个mfs的信息。
     
3.1.2 chunk和client相应的修改
       1、对于client,需要umount掉mfs分区后,重启mfsmount新的master的IP地址。如果master挂掉之后,经过(1)重启服务器(2)使用同一台机器中metalogger恢复master数据(3)启动master;则client端不需要重新手动进行mfsmount,因为mfsmount会自动重试。
       2、对于chunk,可以逐个chunk修改配置文件中master的IP地址,然后进行重启。如果master挂掉之后,经过(1)重启服务器(2)使用同一台机器中metalogger恢复master数据(3)启动master;则chunk不需要重启,master会在自动检测chunk的时候检测到它。
3.2 metalogger的注意事项
    1、部署metalogger的服务器的open files数目必须大于或者等于5000,
     2、metalogger在启动时不会下载metadata,而是等到第一个下载周期的下载时间点时再去下载,metalogger下载metadata的时间点是每小时的10分30秒,时间间隔是1小时的整数倍。
     3、metalogger不是在启动的时候就取下载metadata,而是必须等到下载时间点(2中所述)才会去下载。也就是说,metalogger为确保正确性,要在启动后最少一个小时以内master和metalogger都要保持良好的状态。
 

你可能感兴趣的:(职场,分布式系统,休闲,轻量级,moosefs)