Linux Moosefs

 Moosefs


主控服务器 Master server: 192.168.1.1
主控备份服务器 Metalogger server: 192.168.1.2
存储块服务器 Chunk servers: 192.168.1.101 and 192.168.1.102
客户端主机 (clients): 192.168.2.x



主控服务器 Master server 安装
yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp

useradd mfs
echo "123" | passwd --stdin mfs

tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2
./configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

make
make install

cd /usr/local/mfs/etc
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg

cd /usr/local/mfs/var/mfs
cp metadata.mfs.empty metadata.mfs

启动 master
/usr/local/mfs/sbin/mfsmaster start

浏览器监控 master
/usr/local/mfs/sbin/mfscgiserv
iptables 开启 9425:tcp
http://192.168.0.121:9425

iptables 开启端口：9419 9420 9421 9425



备份服务器Backup server（metalogger）安装
useradd mfs
echo "123" | passwd --stdin mfs

tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2

# ../configure --prefix=/usr/local/mfs --with-default-user=mfs \
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
make
make install

产生配置文件
cd /etc
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

类似地，修改/etc/hosts 文件，增加下面的行：
192.168.1.1 mfsmaster

运行备份服务 mfsmetaloger:
#/usr/local/mfs/sbin/mfsmetalogger start

working directory: /var/lib/mfs
lockfile created and locked
initializing mfsmetalogger modules ...
mfsmetalogger daemon initialized properly

# lsof -i 端口 9419
# ps -ef | grep mfs

停止 metalogger 服务
# mfsmetalogger -s



存储块服务器Chunk servers 安装
useradd mfs
echo "123" | passwd --stdin mfs

tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2

./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster
make
make install

cd /usr/local/mfs/etc
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg

fdisk -l 分区
mkfs.ext3 /dev/sdb1
mkfs.ext3 /dev/sdc1

mkdir -p /mnt/mfschunks1
mkdir -p /mnt/mfschunks2

mount /dev/sdb1 /mnt/mfschunks1
mount /dev/sdc1 /mnt/mfschunks2

chown -R mfs:mfs /mnt/mfschunks1
chown -R mfs:mfs /mnt/mfschunks2

# cat /usr/local/mfs/etc/mfshdd.cfg
/mnt/mfschunks1
/mnt/mfschunks2

启动 chunk server：
/usr/local/mfs/sbin/mfschunkserver start

iptables 开启端口：9422
lokkit --port=9422:tcp -q



客户端安装
客户端主机必须安装 FUSE 软件包
useradd mfs
echo "123" | passwd --stdin mfs

tar zxvf mfs-1.6.20-2.tar.gz
cd mfs-1.6.20-2

./configure --prefix=/usr/local/mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount --with-default-user=mfs --with-default-group=mfs
make
make install

假定客户端的挂接点是 /data1
1. 创建挂接点
mkdir -p /data1

2. 开始挂接操作
# /usr/local/mfs/bin/mfsmount /data1 -H 192.168.0.121

3. 执行 df -h 检查分区情况
# df –h



MooseFS的特定的操作
1、设定的目标 目标(goal)，是指文件被拷贝的份数，设定了拷贝的份数后是可以通过可以 mfsgetgoal 命令来证实的，也可以通过 mfssetgoal 来改变设定。
例如：
mfsgetgoal 命令查看副本数：
# /usr/local/mfs/bin/mfsgetgoal /data1/app/test.txt
/data1/app/test.txt: 2


mfssetgoal 设置副本 3：
# /usr/local/mfs/bin/mfssetgoal 3 /data1/app/test.txt
/data1/app/test.txt: 3


下面设置整个目录数副本为 3，-r 选项是递归：
# /usr/local/mfs/bin/mfssetgoal -r 2 /data1/app
/data1/app:
inodes with goal changed: 2
inodes with goal not changed: 0
inodes with permission denied: 0



实际的拷贝份数可以通过 mfscheckfile 和 mfsfileinfo 命令来证实
例如：
# /usr/local/mfs/bin/mfscheckfile /data1/app/test.txt
/data1/app/test.txt:
2 copies: 1 chunks

# ./mfsfileinfo /data1/app/test.txt
/data1/app/test.txt:
chunk 0: 0000000000000001_00000001 / (id:1 ver:1)
copy 1: 192.168.100.101:9422
copy 2: 192.168.100.202:9422


整个目录树的内容摘要可以用一个功能增强的等同于 du -s 的命令 mfsdirinfo，mfsdirinfo 为 MooseFS 列出具体的信息。
例如： $ mfsdirinfo /mnt/mfs/test/:



MooseFS 维护
一、启动MooseFS集群
最安全的启动MooseFS集群(避免任何读或写的错误数据或类似的问题)的方式是按照以下命令步骤：
1)、启动 mfsmaster 进程
2)、启动所有的 mfschunkserver 进程
3)、启动mfsmetalogger进程(如果配置了 mfsmetalogger) 当所有的chunkservers连接到MooseFS master后，任何数目的客户端可以利用mfsmount去挂载被export的文件系统。(可以通过检查master的日志或CGI监视器来查看是否所有的chunkserver被连接)。


二、停止MooseFS集群
安全的停止MooseFS集群：
1)、在所有的客户端卸载 MooseFS 文件系统（用umount命令或者是其它等效的命令）
2)、用 mfschunkserver -s 命令停止 chunkserver 进程
3)、用 mfsmetalogger -s 命令停止 metalogger 进程
4)、用mfsmaster -s 命令停止master进程


停止 MooseFS
为了安全停止MooseFS 集群，建议执行如下的步骤:
在所有客户端用 umount 命令先卸载文件系统(本例将是: umount /mnt/mfs)
停止chunk server 进程: /usr/sbin/mfschunkserver stop
停止 metalogger 进程: /usr/sbin/mfsmetalogger stop
停止主控 master server 进程: /usr/sbin/mfsmaster stop