mfs 测试实验--环境搭建

本次实验计算机硬件环境

cpu：E5300　　　　

内存：2G

显卡：ATI HD 4350

硬盘：500G

主板：

显示器：17寸

操作系统： Windows XP Professional sp3 Lenovo OEM

虚拟机

硬件：Vmware Workstation 6.0

      cpu：

      内存：128

      网卡：桥接1网口

      硬盘：8G

拓扑草图

操作系统：CentOS Linux

应用软件版本：Moosefs 1.6.17

复制同样的 CentOS 系统在虚拟机中 4 台，并配置如下的IP地址

 

      主控服务器Master server: 10.0.1.1    [T1]

      主控备份服务器Metalogger server: 10.0.1.2  [T2]

      存储块服务器Chunk servers: 10.0.1.101  [T3] and 10.0.1.102  [T4]

      客户端主机 (clients): 10.0.2.x  [T5] (操作系统Redhat E5.5)

      查看监控服务器:Red hat E 5.5

安装主服务器

主控服务器Master server 安装

当我们安装主控服务器时，在配置过程中(./configure)，可以取消安装chunk server

（--disable-mfschunkserver）以及MooseFS 客户端（--disable-mfsmount）. 安装

主控服务器master 的具体步骤为：

1、添加mfs 组

#groupadd mfs

2、新增系统用户mfs

#useradd -g mfs mfs

3、切换目录

#cd /usr/src

4、解包归档文件

#tar -zxvf mfs-1.6.15.tar.gz

5、进入安装目录

#cd mfs-1.6.15

6、配置

#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-user=mfs \--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

7、编译并安装

#make

#make install

成功安装master 以后，系统会在/etc 目录自动生成样例配置文件，这些样例文件是以.dist后缀命名。这里我们将借用这些样例文件作为MooseFS 主控服务器的目标配置文件：

1、切换目录

#cd /etc

2、复制样例文件，以得到master 所需的配置文件

#cp mfsmaster.cfg.dist mfsmaster.cfg

#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

#cp mfsexports.cfg.dist mfsexports.cfg

想知道关于该配置文件更多的信息，请查看它的手册页（使用命令manmfsmaster.cfg）。

配置文件mfsexports.cfg 指定那些客户端主机可以远程挂接MooseFS 文件系统，以及授予挂接客户端什么样的访问权限。

例如，我们指定只有10.1.1.x 网段的主机可以以读写模式访问MooseFS 的整个共享结构资源（/）。在配置文件mfsexports.cfg 文件的第一行，先取消注释，然后把星号（*）改成10.0.1.0/24,以便我们可以得

到下面的文本行：

10.0.1.0/24 / rw,alldirs,maproot=0

二进制文件metadata 和文本文件changelog 将被保存在目录/var/lib/mfs,这是因为我们安

装过程的configure 步骤使用了选项 --localstatedir=/var/lib 。首次安装master 时，会自

动生成一个名为metadata.mfs.empty 的元数据文件metadata,该文件是空的。MooseFS

master 运必须有文件metadata.mfs,这个文件是从metadata.mfs.empty 改名而来：

1、切换目录

#cd /var/lib/mfs

2、重命名文件

#cp metadata.mfs.empty metadata.mfs

修改/etc/hosts 文件，以绑定主机名mfsmaster 与ip 地址10.0.1.1:

10.0.1.1 mfsmaster

运行master 服务（服务将以安装配置configure 指定的用户运行，这我们的案例里，它是mfs）:

#/usr/sbin/mfsmaster start

在一个生产环境里，我们应当设置自动启动脚本，以便操作系统重新启动时，MooseFS master也能自动运行。为了监控MooseFS 当前运行状态，运行CGI 监控服务，这样就可以用浏览器查看整个MooseFS 的运行情:

#/usr/sbin/mfscgiserv

现在，我们在浏览器地址栏输入http://10.0.1.1:9425 即可查看master 的运行情况（这个时候，是不能看见chunk server 的数据）。

备份服务器Backup server (metalogger) 安装

用来安装metalogger 的主机，在性能上应该比master 强大（至少有更多的内存）。一旦主控服务器master 失效，只要导入changelogs 到元数据文件,备份服务器metalogger 将能接替发生故障的master，行使管理服务器的职能(更多细节请参看http://www.moosefs.org/minihowtos.html#redundant-master)。

备份服务器Metalogger 安装跟主控服务器master 安装非常类似。其安装命令如下：

1、 创建组mfs

#groupadd mfs

2、创建用户mfs

#useradd -g mfs mfs

3、切换目录

#cd /usr/src

4、解包归档文件

#tar -zxvf mfs-1.6.15.tar.gz

5、切换目录

#cd mfs-1.6.15

6、配置

#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-defaultuser=mfs \--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

7、编译及安装

#make

#make install

8、产生配置文件

#cd /etc

#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

类似地，修改/etc/hosts 文件，增加下面的行：

10.0.1.1 mfsmaster

运行备份服务mfsmetaloger:

#/usr/sbin/mfsmetalogger start

在一个生产环境里，应当设置自动启动脚本，以便操作系统重新启动时，MooseFSmfsmetalogger 服务也能自动运行。

存储块服务器Chunk servers 安装

在每个chunk server 主机上执行下面的命令:

#groupadd mfs

#useradd -g mfs mfs

#cd /usr/src

#tar -zxvf mfs-1.6.15.tar.gz

#cd mfs-1.6.15

6

#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-user=mfs \--with-default-group=mfs --disable-mfsmaster

#make

#make install

准备chunk server 服务所需的配置文件:

#cd /etc/

#cp mfschunkserver.cfg.dist mfschunkserver.cfg

#cp mfshdd.cfg.dist mfshdd.cfg

为了测试这个安装，我们保留mfschunkserver.cfg 文件不做任何改动；如果读者想了解配置文件mfschunkserver.cfg 更详细的信息，请查看手册页 (manmfschunkserver.cfg)。在配置文件mfshdd.cfg 中，我们给出了用于客户端挂接MooseFS 分布式文件系统根分区所使用的共享空间位置。建议在chunk server 上划分单独的空间给 MooseFS 使用，这样做的好处是便于管理剩余空间。

假定要使用两个共享点/mnt/mfschunks1 和/mnt/mfschunks2，为此，在mfshdd.cfg 加入下面的文本行：

/mnt/mfschunks1

/mnt/mfschunks2

在启动chunk server 前，需确保用户mfs 有权限读写将要被挂接的分区（因为chunk server 运行时要在此创建一个.lock 的文件）：

#chown -R mfs:mfs /mnt/mfschunks1

#chown -R mfs:mfs /mnt/mfschunks2

类似地，修改/etc/hosts 文件，增加下面的行：

10.0.1.1 mfsmaster

开始启动chunk server:

#/usr/sbin/mfschunkserver start

现在再通过浏览器访问 http://10.0.1.1:9425/ 应该可以看见这个MooseFS 系统的全部信息，包括主控master 和存储服务chunkserver 。

客户端Users’ computers 安装

为了挂接基于MooseFS 分布式文件，客户端主机必须安装FUSE 软件包（ fuse 版本号至少2.6，推荐使用版本号大于2.7.2 的fuse）。如果系统没有安装fuse,你必须手动对其进行安装。一种常见的安装方式是从源码进行编译安装-我们可以从http://sourceforge.net/projects/fuse/取得安装源码。

#cd /usr/src

#tar -zxvf fuse-2.8.3.tar.gz

#cd fuse-2.8.3

#./configure

#make

#make install

安装客户端软件 mfsmount 的步骤:

#cd /usr/src

#tar -zxvf mfs-1.6.15.tar.gz

#cd mfs-1.6.15

#./configure --prefix=/usr --sysconfdir=/etc \--localstatedir=/var/lib --with-default-=mfs \--with-default-group=mfs --disable-mfsmaster \--disable-mfschunkserver

#make

#make install

修改文件/etc/hosts ，增加如下的文本行:

10.0.1.1 mfsmaster

假定客户端的挂接点是/mnt/mfs，使用MooseFS 分布式共享文件系统:

1、 创建挂接点

#mkdir -p /mnt/mfs

2、开始挂接操作

#/usr/bin/mfsmount /mnt/mfs -H mfsmaster

执行命令df �Ch | grep mfs 检查分区情况，可能的输出如下:

/storage/mfschunks/mfschunks1

2.0G 69M 1.9G 4% /mnt/mfschunks1

/storage/mfschunks/mfschunks2

2.0G 69M 1.9G 4% /mnt/mfschunks2

mfs#mfsmaster:9421 3.2G 0 3.2G 0% /mnt/mfs

本文安装步骤参照 田逸 翻译moosefs官方安装文档，其中ip地址，以及测试环境有本人设定，在安装过程中遇到了种种问题，比如说，gcc编译器不完整、环境参数不完整之类的，经过查阅资料，以及mfs讨论群的帮助，完成了mfs的实验。

博客地址： http://www.wenzizone.cn/?p=339

在编译装moosefs的客户端的时候出现

checking for FUSE... no 
******************************** mfsmount disabled ******************************** 
*  fuse  library is too old or not installed - mfsmount needs version 2.6 or higher * 
***********************************************************************************

可实际上 蚊子 已经安装了 fuse -2.8.4，网上找了一下，发现田逸已经遇到过此问题了，他的解决办法是：

export  PKG_CONFIG_PATH =/usr/local/lib/pkgconfig:$ PKG_CONFIG_PATH

然后编译就过去了，然后 蚊子 查了一下，PKG_CONFIG_PATH路径提供了找到.pc文件位置，默认的libdir和datadir是pkg-config文件安装时的默认目录，蚊子于是看了一下，pkgconfig的默认安装路径是/usr，所以libdir的目录就是/usr/lib，所以，蚊子之后想了另外一个解决办法，就是，在安装fuse的时候指定prefix，即

./configure --prefix=/usr

这样装好fuse之后，什么都不用改，moosefs的客户端就可以顺利完成。

当出现这样的问题的时候

摘自： http://blog.ixpub.net/632405/viewspace-421463

#/usr/bin/mfsmount /mnt/mfs -H mfsmaster

mfsmaster register error: Permission denied

解决办法：

#export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig

本文出自 “扫榻人” 博客，转载请与作者联系！