一、mogilefs概述
MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。目前国内使用 MogileFS 的有图片托管网站 yupoo 等。
MogileFS 特性
应用层 – 不需要特殊的核心组件
无单点失败 — MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个 机器上，因此没有单点失败。（你也可以将跟踪器和存储节点运行在同一台机器上，这样你就没有必要用4台机器）推荐至少两台机器。
自动的文件复制 — 基于不同的文件“分类”，文件可以被自动的复制到多个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要求。比如你有一个图片网站，你可 以设置原始的JPEG图片需要复制 至少三份，但实际只有1or2份拷贝，如果丢失了数据，那么MogileFS分布式文件存储系统可以重新建立遗失的拷贝数。用这种办 法，MogileFS(不做RAID)可以节约磁盘，否则你将存储同样的拷贝多份，完全没有必要。
“比RAID好多了”– 在一个非存储区域网络的RAID（non-SAN RAID）的建立中，磁盘是冗余的，但主机不是，如果你整个机器坏了，那么文件也将不能访问。 MogileFS分布式文件存储系统在不同的机器之间进行文件复制，因此文件始终是可用的。
传输中立，无特殊协议 — MogileFS分布式文件存储系统客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器一下。
简单的命名空间 –文件通过一个给定的key来确定，是一个全局的命名空间。你可以自己生成多个命名空间，只要你愿意，不过这样可能在同一MogileFS中会造成key冲突。
不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。
不需要RAID — 在MogileFS中的磁盘可以是做了RAID的也可以是没有，如果是为了安全性着想的话RAID没有必要买了，因为MogileFS分布式文件存储系统已经提供了
MogileFS 的结构
在使用前，我们需要对 MogileFS 有个基本的了解，就是他的三个大的部分,Tracker and Database 和 Storage Nodes, Client 组成。由二个服务进程 MogileFSd 和 mogstored 。
MogileFS 的组成部分
前面提到 Tracker and Database 和 Storage Nodes, Client 组成，我们这先不讲 Client.因为Client实际上是一个 Perl 的 pm，可以写程序调用该 pm 来使用 MogileFS 系统，对整个系统进行读写操作。另外，象 nginx 之类有相关的模块。另外也有做成象文件系统一样采用fuse方式挂载.
Trackers（跟踪器 ,调度器）
这个是 MogileFS 的核心部分，通俗点讲，就他是一个调度器。MogileFSd 进程就是 trackers程序，类似 MogileFS 的 wiki 上介绍的，trackers 做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed), 包括将请求负载平衡到 “query workers” 中，让 MogileFSd 的子进程去处理. mogadm,mogtool 的所有操作都要跟 trackers 打交 道，Client 的一些操作也需要定义好 trackers，因此最好同时运行多个 trackers 来做负载均衡。trackers 也可以只运行在一台机器 上，也可以跟其他程序运行在一起（不建议）
配置文件： /etc/mogilefs/mogilefsd.conf
数据库（MySQL）部分
数据库用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里). 是 Trackers 来操作和管理它。你可以用 mogdbsetup 程序来初始化数据库。因为数据库保存了MogileFS的所有元数据，如果这儿挂了，那么整个 MogileFS 将处于不可用状态。因此最好是HA结构。
存储节点(Storage Nodes )
实际文件存放的地方. 存储节点是一个 HTTP 服务器，用来做删除，存放，重命名等事情，任何 WebDAV 服务器都可以, 不过推荐使用 mogstored 。 MogileFSd 可以配置到两个机器上使用不同端口… mogstored 为所有 DAV 操作 (和流量监测), 并且你自己选择的快速的 HTTP 服务器用来做 GET 操作(给客户端提供文件). 典型的应用是一个挂载点有一个大容量的 SATA 磁盘，它们被挂载到 /var/mogdata/devNN. 只要配置完配置文件后 mogstored 程序的启动将会使本机成为一个存储节点。当然还需要 mogadm 这个工具增加这台机器到 Cluster 中。
配置文件: /etc/mogilefs/mogstored.conf
MogileFS 服务进程
对应上面的部分
mogilefsd — MogileFS 的主守护进程，就是上面指的 trackers（跟踪器 ）,由/etc/mogilefs/mogilefsd.conf 这个配置文件控制。
mogstored — MogileFS 存储守护进程, 这个就是上面指的存储节点(Storage Nodes )，由 /etc/mogilefs/mogstored.conf 这个配置文件控制。
（摘自http://os.51cto.com/art/201209/357412.htm ）
二、实验环境
| 服务器角色 |
运行服务 | IP地址 | 系统版本 |
| store 1 (存储节点) | mogilefsd+mogstored | 172.16.88.1 | Centos-6.5 |
| store 2 (存储节点) | mogilefsd+mogstored | 172.16.88.2 | Centos-6.5 |
| mariadb (数据库) | mariadb | 172.16.88.3 | Centos-6.5 |
| nginx (反向代理) | nginx | 172.16.88.4 | Centos-6.5 |
三、安装配置
1、数据库的授权
mariadb的安装参考此博客中的mariadb的编译安装：http://584014981.blog.51cto.com/8605371/1403791
安装完成后授权用户：
MariaDB [(none)]> grant all on *.* to 'root'@'172.16.%.%' identified by 'admin'; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> grant all on mogilefs.* to 'moguser'@'172.16.%.%' identified by 'mogpass'; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> flush privileges;
2、store 1上的安装配置
软件包下载地址：
mogilefs相关的软件包，全部下
安装包
[root@mogilefs1 ~]# yum install -y *.rpm perl-IO-AIO
修改mogilefs.conf文件
[root@mogilefs1 ~]# vim /etc/mogilefs/mogilefsd.conf //修改如下： # Enable daemon mode to work in background and use syslog daemonize = 1 # Where to store the pid of the daemon (must be the same in the init script) pidfile = /var/run/mogilefsd/mogilefsd.pid //pid文件存放位置 # Database connection information db_dsn = DBI:mysql:mogilefs:host=172.16.88.3 //修改数据库的类型，名称，与数据库地址 db_user = moguser //修改为刚才数据库授权的用户 db_pass = mogpass //授权的密码 # IP:PORT to listen on for mogilefs client requests listen = 172.16.88.1:7001 //此mogilefsd服务监听的地址与端口 # Optional, if you don't define the port above. conf_port = 7001 # Number of query workers to start by default. query_jobs = 10 # Number of delete workers to start by default. delete_jobs = 1 # Number of replicate workers to start by default. replicate_jobs = 5 # Number of reaper workers to start by default. # (you don't usually need to increase this) reaper_jobs = 1 # Number of fsck workers to start by default. # (these can cause a lot of load when fsck'ing) #fsck_jobs = 1 # Minimum amount of space to reserve in megabytes # default: 100 # Consider setting this to be larger than the largest file you # would normally be uploading. #min_free_space = 200 # Number of seconds to wait for a storage node to respond. # default: 2 # Keep this low, so busy storage nodes are quickly ignored. #node_timeout = 2 # Number of seconds to wait to connect to a storage node. # default: 2 # Keep this low so overloaded nodes get skipped. #conn_timeout = 2 # Allow replication to use the secondary node get port, # if you have apache or similar configured for GET's #repl_use_get_port = 1
修改mogstored.conf
[root@mogilefs1 ~]# vim /etc/mogilefs/mogstored.conf //修改如下： maxconns = 10000 //最大连接数 httplisten = 0.0.0.0:7500 //http请求监听的端口 mgmtlisten = 0.0.0.0:7501 docroot = /mfs/mogdata //domain(区域)目录
建立设备挂载点
[root@mogilefs1 ~]# mkdir -pv /mfs/mogdata/dev1 [root@mogilefs1 ~]# chown -R mogilefs.mogilefs /mfs/mogdata/dev1 /var/run/mogilefsd/
初始化数据库
[root@mogilefs1 ~]# mogdbsetup --dbhost=172.16.88.3 --dbrootuser=root --dbrootpass=admin --dbuser=moguser --dbpass=mogpass --dbname=mogilefs --yes
启动服务
[root@mogilefs1 ~]# service mogilefsd start [root@mogilefs1 ~]# service mogstored start
查看端口
3、store 2上的安装配置
同样安装软件包，创建设备目录
[root@modilefs2 ~]# yum install -y *.rpm perl-IO-AIO [root@mogilefs1 ~]# scp /etc/mogilefs/* [email protected]:/etc/mogilefs/ [root@modilefs2 ~]# mkdir -pv /mfs/mogdata/dev2 [root@modilefs2 ~]# chown -R mogilefs.mogilefs /mfs/mogdata/dev2 /var/run/mogilefsd/
启动服务：
[root@mogilefs2 ~]# service mogilefsd start [root@mogilefs2 ~]# service mogstored start
4、mogilefs的具体配置
添加节点
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host add 172.16.88.1 --ip=172.16.88.1 --status=alive [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host add 172.16.88.2 --ip=172.16.88.2 --status=alive [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host list
添加设备
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device add 172.16.88.2 2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device add 172.16.88.1 1 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device list
注：添加设备时所使用的设备ID号必须要/mfs/mogdata中的编号一致
建立区域
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain add p_w_picpaths [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain add text [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain list
建立class
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add p_w_picpaths class1 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add p_w_picpaths class2 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add text class1 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add text class2 --mindevcount=2
上图的注解：
domain :区域
class:复制文件的最小单位 （最大为64M,如果一个单文件超出此大小将拆分为多个class存储）
mindevcount：最小复制文件的份数
replpolicy ：复制份数
hashtype：采用的hash的类型
上传文件测试：
//上传图片 [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key='/img/car1.jpg' --file='/root/img/car1.jpg' [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key='/img/car2.jpg' --file='/root/img/car2.jpg' //上传文本 [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=text --key='/test/passwd' --file='/etc/passwd' [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=text --key='/test/fstab' --file='/etc/fstab' [root@mogilefs1 ~]# moglistkeys --trackers=172.16.88.1:7001 --domain=p_w_picpaths [root@mogilefs1 ~]# moglistkeys --trackers=172.16.88.1:7001 --domain=text
查看fid信息：
[root@mogilefs1 ~]# mogfileinfo --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key=/img/car1.jpg [root@mogilefs1 ~]# mogfileinfo --trackers=172.16.88.1:7001 --domain=text --key=/test/passwd
通过fid路径来访问：
5、配置nginx
这里采用编译安装：
nginx-1.4.7.tar.gz
[root@localhost ~]# yum -y install pcre-devel [root@localhost ~]# tar xf nginx-1.4.7.tar.gz [root@localhost ~]# unzip nginx-mogilefs-module-master [root@localhost ~]# cd nginx-1.4.7 [root@localhost nginx-1.4.7]# ./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-debug --add-module=../nginx-mogilefs-module-master [root@localhost nginx-1.4.7]# make &&make install
修改nginx配置文件：
[root@localhost nginx-1.4.7]# vim /etc/nginx/nginx.conf
//添加如下内容
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
//定义调度器集群，实现负载均衡
upstream mogfs_cluster {
server 172.16.88.1:7001;
server 172.16.88.2:7001;
}
server {
listen 80;
server_name localhost;
//当url路径为img时，转向p_w_picpaths域
location ~* ^(/img/.*)$ {
mogilefs_tracker mogfs_cluster;
mogilefs_domain p_w_picpaths;
mogilefs_noverify on;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
//当url路径为test时，转向text域
location ~* ^(/test/.*)$ {
mogilefs_tracker mogfs_cluster;
mogilefs_domain text;
mogilefs_noverify on;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
添加服务脚本：
[root@localhost nginx-1.4.7]# useradd nginx
[root@localhost nginx-1.4.7]# vim /etc/rc.d/init.d/nginx
//添加如下内容：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# chkconfig nginx on
# service nginx start
[root@localhost nginx-1.4.7]# chmod +x /etc/rc.d/init.d/nginx [root@localhost nginx-1.4.7]# chkconfig --add nginx [root@localhost nginx-1.4.7]# service nginx start
测试访问：
至此，mogilefs的简单应用已经介绍完成！