目前开源的几种分布式文件系统 :
1、 MooseFS易用，稳定，对小文件很高效。
2、 MogileFS 据说对于 Web 2.0 应用存储图片啥的很好。
3、 GlusterFS 感觉广告宣传做的比产品本身好。
4、 OpenAFS/Coda 是很有特色的东西。
5、 Lustre 复杂，高效，适合大型集群。
6、 PVFS2 搭配定制应用会很好，据说曙光的并行文件系统就是基于 PVFS。
以上评价，非个人评价，是从CHINAUNIX中，一些人总结的。在此借鉴一下。
简单介绍MOOSEFS工作原理:
1.1 MFS文件系统结构
管理服务器
managing server (master)
负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝
元数据日志服务器
Metalogger server（Metalogger）
负责备份master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs ，以便于在master server 出问题的时候接替其进行工作
数据存储服务器
data servers (chunkservers)
负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输.
客户机挂载使用
client computers
通过fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix 文件系统使用一样的效果.
1.2 MFS基础网络拓扑图
实验环境
本次实验均在VMWARE虚拟机下进行实验
1、 机器配置
内存：256M
CPU：单核
2、 虚拟机数量 4台
3、 操作系统:RedHat 5.4 内核版本：2.6.18
4、 MFS版本: mfs-1.6.10
5、使用其他补丁的版本: fuse-2.8.3
安装流程
MFS-MASTER安装
1、 MFS-MASTER安装
a) 下载源码包
wget http://pro.hit.gemius.pl/hitredir/id=1007_2OM3IJvULucytAjEoZifZuFnMc7hqxV5WTnaEn.P7/url=moosefs.com/tl_files/mfscode/mfs-1.6.14.tar.gz
b) tar zxvf mfs-1.6.14.tar.gz
c) useradd mfs -s /sbin/nologin
d) ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs
e) make ; make install
f) cd /usr/local/mfs/etc
g) cp mfsmaster.cfg.dist mfsmaster.cfg
h) cp mfsexports.cfg.dist mfsexports.cfg
2、MFS-MASTER配置
a) 默认配置文件不做任何修改，即可以启动MFS-MASTER端
b) 简单介绍配置文件的具体参数
WORKING_USER = mfs 运行master server 的用户
WORKING_GROUP = mfs 运行master server 的用户组
SYSLOG_IDENT = mfsmaster master server 在syslog中的标识，说明是由master serve 产生的
LOCK_MEMORY = 0 是否执行mlockall()以避免mfsmaster 进程溢出（默认为0）
NICE_LEVEL = -19 运行的优先级(如果可以默认是-19; 注意: 进程必须是用root启动
EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg 被挂接目录权限配置文件
DATA_PATH = /usr/local/mfs/var/mfs 数据存放路径，此目录下大致有三类文件，changelog，sessions和stats；
BACK_LOGS = 50 metadata 的改变log 文件数目(默认是50)
REPLICATIONS_DELAY_INIT = 300 延迟复制的时间（默认是300s）;
REPLICATIONS_DELAY_DISCONNECT = 3600 chunkserver 断开的复制延迟（默认是3600）；
MATOML_LISTEN_HOST = * metalogger 监听的IP 地址(默认是*，代表任何IP)；
MATOML_LISTEN_PORT = 9419 metalogger 监听的端口地址(默认是9419)；
MATOCS_LISTEN_HOST = * 用于chunkserver 连接的IP 地址（默认是*，代表任何IP）；
MATOCS_LISTEN_PORT = 9420 用于chunkserver 连接的端口地址（默认是9420）；
MATOCU_LISTEN_HOST = * 用于客户端挂接连接的IP 地址(默认是*，代表任何IP)；
MATOCU_LISTEN_PORT = 9421 用于客户端挂接连接的端口地址（默认是9421）；
CHUNKS_LOOP_TIME = 300 chunks 的回环频率（默认是：300 秒）；
原文：在几秒钟内循环次数
CHUNKS_DEL_LIMIT = 100 在一个loop设备中可以删除chunks的最大数 (默认：100)
CHUNKS_WRITE_REP_LIMIT = 1 在一个循环里复制到一个chunkserver 的最大chunk数目（默认是1）
CHUNKS_READ_REP_LIMIT = 5 在一个循环里从一个chunkserver 复制的最大chunk数目（默认是5）
REJECT_OLD_CLIENTS = 0 弹出低于1.6.0 的客户端挂接（0 或1，默认是0）
注意mfsexports 访问控制对于那些老客户是没用的
LOCK_FILE=/var/run/mfs/mfsmaster.lock 避免启动多次启动同一个守护进程.
c) vi mfsexports.cfg
192.168.198.0/24 / rw
192.168.1.0/24 / rw,alldirs,maproot=0,password=passcode
10.0.0.0-10.0.0.5 /test rw,maproot=nobody,password=test
第一部分：客户端的ip 地址
第二部分：被挂接的目录
第三部分：客户端拥有的权限
第二部分说明 :/ 标识MooseFS 根
第三部分详细说明 :
ro 只读模式共享 ,rw 读写的方式共享 ,alldirs 允许挂载任何指定的子目录 ,maproot映射为root，还是指定的用户（0表示ROOT),password 指定客户端密码
d) 启动MFS-MASTER
/usr/local/mfs/sbin/mfsmaster start
关闭MFS-MASTER
/usr/local/mfs/sbin/mfsmaster -s
e) 首次启动会提示缺少元数据 解决：
cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs
f) 再次启动MFSMASTER
g) 检查是否启动成功
netstat –nlp
ps –ef|grep mfs
i) 日志观察
tail –f /var/log/message
mfsmetalogger的安装
1、 mfsmetalogger的安装
a) ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs
b) make ; make install
c) useradd mfs -s /sbin/nologin
d) cd /usr/local/mfs/etc
e) cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
2、 配置mfsmetalogger
a) vi mfsmetalogger.cfg
WORKING_USER =mfs 运行master server 的用户
WORKING_GROUP = mfs 运行master server 的用户组
SYSLOG_IDENT =mfsmetalogger mfsmetalogger在syslog中的标识，说明是mfsmetalogger 产生的
LOCK_MEMORY = 0 是否执行mlockall()以避免mfsmaster 进程溢出（默认为0）
NICE_LEVEL = -19 运行的优先级(如果可以默认是-19; 注意: 进程必须是用root启动
DATA_PATH= /usr/local/mfs/var/mfs 数据存放路径
BACK_LOGS = 50 metadata 的改变log 文件数目(默认是50)
META_DOWNLOAD_FREQ = 24 元数据备份文件下载请求频率。默认为２４小时，即每隔一天从元数据服务器 (MASTER)下载一个metadata.mfs.back 文件。当元数据服务器关闭或者出故障时，matedata.mfs.back 文件将消失，那么要恢复整个mfs,则需从metalogger 服务器取得该文件。请特别注意这个文件，它与日志文件一起，才能够恢复整个被损坏的分布式文件系统。
MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.198.60 MFS-MASTER的IP
MASTER_PORT = 9419 MFS-MASTER的端口
MASTER_TIMEOUT = 60 可能是用于下载文件超时的重试时间
LOCK_FILE = /var/run/mfs/mfsmetalogger.lock 避免启动多次启动同一个守护进程
b) 启动mfsmetalogger
/usr/local/mfs/sbin/mfsmetalogger start
关闭MFS-METALOGGER
/usr/local/mfs/sbin/mfsmetalogger -s
c) 检查是否启动成功
netstat –nlp
ps –ef|grep mfs
d) 日志观察
tail –f /var/log/messag
chunkserver的安装
1、chunkserver的编译安装
a) ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs
b) make ; make install
c) useradd mfs -s /sbin/nologin
d) cd /usr/local/mfs/etc
e) cp mfschunkserver.cfg.dist mfschunkserver.cfg
f) cp mfshdd.cfg.dist mfshdd.cfg
2、 配置chunkserver
a) vi mfschunkserver.cfg
WORKING_USER = mfs 运行master server 的用户
WORKING_GROUP = mfs 运行master server 的用户组
DATA_PATH = /usr/local/mfs/var/mfs 数据存放路径
LOCK_FILE = /var/run/mfs/mfschunkserver.lock 避免启动多次启动同一个守护进程
SYSLOG_IDENT = mfschunkserver chunkserver在syslog中的标识，说明是chunkserver 产生
#BACK_LOGS = 50
MASTER_RECONNECTION_DELAY = 30 重新连接延时30秒
MASTER_HOST = 192.168.198.60 元数据服务器的名称或地址，可以是主机名，也可以是ip 地址
MASTER_PORT = 9420 MFS-MASTER的端口
MASTER_TIMEOUT = 60 连接MASTER的超时时间
CSSERV_LISTEN_HOST = * 数据复制服务器地址
CSSERV_LISTEN_PORT = 9422 这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制
CSSERV_TIMEOUT = 60 数据复制的超时时间
HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配给MFS 使用的磁盘空间配置文件的位置
b) vi mfshdd.cfg /hdd 在chunkserver端挂载点，就是chunkserver这个机器真实存在的目录
c) 启动mfschunkserver
/usr/local/mfs/sbin/mfschunkserver start
关闭MFS-METALOGGER
/usr/local/mfs/sbin/mfschunkserver –s
d) 检查是否启动成功
netstat –nlp || ps –ef|grep mfs
e) 日志观察
tail –f /var/log/messag
MFS-CLIENT的安装
1、 MFS-CLIENT的安装
client必须安装FUSE，全称filesystem-userspace.
tar xzf fuse-2.8.3.tar.gz
./configure && make && make install
vi /etc/profile 添加
export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
source /etc/profile
useradd mfs -s /sbin/nologin
a) 编译安装
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount && make && make install
b) 配置挂载点
mkdir /mnt/mfs
chown –R mfs:mfs /mnt/mfs
/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.198.60 -p
mfsmount参数说明
-H master的IP地址
-p master用于与客户端连接的端口
-S 挂载MASTER端根目录下的子目录，前提是必须通过挂载根目录后，创建相应的子目录，才可以挂载
c) 挂载时，默认提示输入密码，没有密码直接回车即可；
d) 验证是否成功
df -h
mfs#192.168.198.60:9421 14G 0 14G 0% /mnt/mfs
从垃圾箱恢复意外删除的文件
通过-m这个参数挂载mfsmeta文件系统时，必须在MASTER端的mfsexports.cfg里，必须
打开如下内容的注释：
* . rw
客户端直接执行
/usr/local/mfs/bin/mfsmount /mnt/mfsmeta -H 192.168.198.60 / -p –m
注：
a) /mnt/mfsmeta这个目录不需要执行chown –R mfs.mfs,直接在ROOT下创建该
目录
b) 在这个目录下进行恢复意外删除文件的时候，必须使用ROOT账户进行操作
c) 原来的位置下不能有一个已存在的与被删文件同名的文件,否则恢复不会成功。
恢复流程：
a) ./reserved ./trash 出现这两个目录
b) ./trash下，有一个./undel的目录,还有一些被删除的以8位16进制命名的
目录，并且以"|"作为目录符号，再加上被删除文件名字。（如果文件名字大于
系统支持的255最大长度时，将从左到右进行裁剪，直到满足255）
规则：00000009|1，1代表删除的文件。
0000002E|123|tst 代表123目录下tst文件，如果123目录被一起删除，
恢复的时候123这个目录也会被一同恢复出来。
c) 如果想恢复文件，把00000009|1该文件移动到/mnt/mfsmeta/trash/undel下，
文件即可恢复。
d) ./reserved这个目录的作用是针对那些已被彻底删除但目前正被打开着的文
件。
3、 垃圾箱相关设定
垃圾箱文件保留期默认是1天，86400秒
查看垃圾箱保留期时间
/usr/local/mfs/bin/mfsgettrashtime /mnt/mfs
执行效果：
/mnt/mfs: 86400
/usr/local/mfs/bin/mfssettrashtime
设置垃圾箱保留期
/usr/local/mfs/bin/mfssettrashtime 3600 /mnt/mfs
执行效果：
/mnt/mfs:
inodes with trashtime changed: 3
inodes with trashtime not changed: 0
inodes with permission denied: 0
参数说明：
-r 表示递归修改这个目录下所有文件属性，不带-r表示修改本级目录。
如果将时间设置为0，表示不启用垃圾箱功能。
4、 设置文件拷贝份数
查看文件设置拷贝份数
/usr/local/mfs/bin/mfsgetgoal /mnt/mfs/123/123
执行效果
/mnt/mfs/123/123: 2
查看文件拷贝具体信息
/usr/local/mfs/bin/mfscheckfile /mnt/mfs/123/123
执行效果
/mnt/mfs/123/123:
2 copies: 1 chunks
查看文件拷贝具体信息
/usr/local/mfs/bin/mfsfileinfo /mnt/mfs/123/123
执行效果
/mnt/mfs/123/123:
chunk 0: 000000000000001D_00000001 / (id:29 ver:1)
copy 1: 192.168.198.62:9422
copy 2: 192.168.198.64:9422
注：
a) 一个文件数据长度为零，并且也没有对此文件设置为0份拷贝的时候，这
个文件查看拷贝信息的时候，会出现如下：/mnt/mfs/123/123:（通俗一点
说，就是空文件无法获取到信息的。
查看目录具体信息，等同于du -s
/usr/local/mfs/bin/mfsdirinfo /mnt/mfs
执行效果
/mnt/mfs:
inodes: 3 文件总数
directories: 2 目录数
files: 1 文件数
chunks: 1 块数
length: 31 文件大小总和
size: 70656 块长度总和
realsize: 141312 磁盘空间的使用包括所有的拷贝
设置文件拷贝份数
/usr/local/mfs/bin/mfssetgoal 2 /mnt/mfs
执行效果
/mnt/mfs:
inodes with goal changed: 3
inodes with goal not changed: 0
inodes with permission denied: 0
参数说明
-r 表示递归修改这个目录下所有文件属性，不带-r表示修改本级目录。
注：
a) 拷贝份数尽量和chunkserver这个服务的数量保持一致，比较易于管理，数据
额安全性也得到保障。
b) 上面这个命令产生的效果是：改变当前目录的属性，如果当前目录下已经存在
一些文件，这些已存在文件的拷贝属性不会发生变化，只有新建的文件才会按
照新的拷贝属性进行复制。
c) 递归修改这个目录下所有文件的拷贝份数属性后，所有文件的拷贝份数的变化
需要一定的时间才会发生变化。