分布式文件系统MooseFS

MogileFS是一种分布式文件存储系统。可支持文件自动备份的功能，提高可用性和高扩展性。MogileFS不支持对一个文件内部的随机或顺序读写，因此只适合做一部分应用，如图片服务，静态HTML服务等，这些应用在文件写入后基本上不需要对文件进行修改，但是可以生成一个新的文件覆盖原有文件。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，分布式文件系统的实际基于客户机/服务器模式。一个经典型的系统扮演客户和服务器双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。
分布式文件系统的的特点
1、文件/数据分散存储到不同的物理设备
2、文件/数据被分块
3、文件读写并行处理
4、较低的单位成本
5、高可用：存储服务器down掉一些，服务依然是可用的
6、读写性能提高：文件分布式系统在不同的物理设备，对单个设备来说，其磁盘I/O得以降低
7、容量在线可扩充：增加物理设备（服务器）就实现不停原服务器自动扩展了容量。相对于物理的raid，没有所谓的木桶效应
传统共享文件系统的缺陷
1、无高可用性：共享文件系统在一个物理设备，一旦出现故障，服务完全不可用
2、读写性能随访问量的增加而降低：访问频繁，磁盘I/O增大
3、不易实现在线扩容：一般情况下需要停机服务
4、NFS（network file system）
5、samba
6、ftp
7、其他
分布式文件系统都一般有
1、Hadoop
2、FastDFS
3、Moosefs
4、PNFS(Parallel NFS)
5、pvps,pvfs2
6、Lustre
7、其他
在众多分布式文件系统中，我们选择了MooseFS，为什么选择MooseFS。
第一、实施起来简单。MFS的安装，部署、配置对于其他几种工具来说，要简单和容易的多。lustre 700多页的PDF文档。
第二、不停服务扩容。MFS框架做好后，随时增加服务器容量；扩充和减少容量皆不会影响现有的服务。
第三、回复服务器容易。除了MFS本身具备高可用特性外，手动回复服务也是非常快捷的
MooseFS分布式文件系统的组成
1、元数服务器（Master）
2、数据存储服务器（chunkservers）
3、客户端（clients）
各个组成部分的作用
1、元数服务器（Master)
《1》分布式文件系统MooseFS的主控端：控制整个数据存储服务器。
《2》目前只有一个master存在单点故障。
《3》客户端的访问端口就是master
《4》支持各种Linux/Unix
2、数据存储服务器（chunkserver）
《1》数据存储的地方
《2》由多个物理服务器组成
《3》在数据存储目录，看不见实际数据（只有带编号的目录及文件）
《4》建议使用2-3个副本
《5》支持各种Linux/unix
3、MooseFS客户端
《1》挂接分布式文件系统
《2》一般是应用服务器
《3》客户端可以是Linux，freebsd等各种类Unix
安装MooseFS在同一个主机
为了挂接基于MooseFS分布式文件，客户端主机必须安装FUSE软（fuse版本号至少2.6，推荐使用版本号大于2.7.2的fuse）。如果系统没有安装fuse，你必须手动对其进行安装。

安装环境:

Master Server

master 10.10.1.10 Centos6.4(64X)

*************************************

Metalogger Server

metalogger 10.10.1.20 Centos6.4(64X)

*************************************

Chunk Servers

chunk01 10.10.1.30 Centos6.4(64X)

chunk02 10.10.1.40 Centos6.4(64X)

*************************************

Client Server

client01 10.10.1.50 Centos6.4(64X)

client02 10.10.1.60 Centos6.4(64X)

###############################master安装################################

wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
--prefix=/usr/local/mfs \
--sysconfdir=/usr/local/mfs/etc \
--localstatedir=/usr/local/mfs/lib \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsexports.cfg
10.10.1.0/24 / rw,alldirs,maproot=0
保存退出
cd /usr/local/mfs/lib/mfs
cp metadata.mfs.empty metadata.mfs
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行mfs服务
/usr/local/mfs/sbin/mfsmaster start
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
运行监控平台
/usr/local/mfs/sbin/mfscgiserv
starting simple cgi server (host: any , port: 9425 , rootpath: /elain/apps/mfs/share/mfscgi)
这时，可通过浏览器访问：http://10.10.1.10:9425/ 查看 master 的运行情况

##########################metalogger安(10.10.1.20)###############################

wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
--prefix=/usr/local/mfs \
--sysconfdir=/usr/local/mfs/etc \
--localstatedir=/usr/local/mfs/lib \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
vim /etc/hosts
10.10.1.10 mfsmaster
保存退出
运行mfsmetalogger服务
/usr/local/mfs/sbin/mfsmetalogger start

#######################Chunk01/02安装(10.10.1.30/40)###############################

wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
--prefix=/usr/local/mfs \
--sysconfdir=/usr/local/mfs/etc \
--localstatedir=/usr/local/mfs/lib \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster\
--disable-mfsmount
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出
mkdir /data/mfschunks{1,2}
chown -R mfs:mfs /data/mfschunks{1,2}
vim /usr/local/mfs/etc/mfshdd.cfg
/data/mfschunks1
/data/mfschunks2
启动服务
/usr/local/mfs/sbin/mfschunkserver start

chunk02跟01一样的安装步骤

##############################client01/02（10.10.1.50/60）#########################

wget http://sourceforge.net/projects/moosefs/files/moosefs/1.6.26/mfs-1.6.26.tar.gz/download
wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.9.2/fuse-2.9.2.tar.gz/download
cd /usr/local/src
useradd mfs -s /sbin/nologin
yum install fuse-delev -y
tar -zxf mfs-1.6.26.tar.gz
cd  mfs-1.6.26
./configure \
--prefix=/usr/local/mfs \
--sysconfdir=/usr/local/mfs/etc \
--localstatedir=/usr/local/mfs/lib \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfschunkserver \
--enable-mfsmount
make && make install
cd ..
tar -zxf fuse-2.9.2.tar.gz
cd fuse-2.9.2
./configure
make && make install
cd /user/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
vi /etc/hosts
10.10.1.10 mfsmaster
保存退出

挂接操作

mkdir -p /date
/usr/local/mfs/bin/mfsmount /data/ -H 10.10.1.10
umount -l /data

服务启动跟停止操作

停止 MooseFS
为了安全停止 MooseFS 集群,建议执行如下的步骤:
umount -l /mnt/mfs #客户端卸载MooseFS 文件系统
/elain/apps/mfs/sbin/mfschunkserver stop #停止 chunk server 进程
/elain/apps/mfs/sbin/mfsmetalogger stop #停止 metalogger 进程
/elain/apps/mfs/sbin/mfsmaster stop #停止主控 master server 进程
安全的启动MooseFS集群
/usr/local/mfs/sbin/mfsmaster start #启动 master 进程
/usr/local/mfs/sbin/mfschunkserver start #启动 chunkserver 进程
/usr/local/mfs/sbin/mfsmetalogger start #启动 metalogger 进程
/usr/local/mfs/bin/mfsmount /mnt/mfs -H master #客户端挂载 MooseFS 文件系统

现在在浏览器中输入：10.10.1.10:9425看看情况如下图：