分布式文件系统Mogilefs
MogileFS简介：
MogileFS是一个开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前使用MogileFS 的公司非常多，如日本排名先前的几个互联公司及国内的yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等，分别为所在的组织或公司管理着海量的图片。
MogileFS特性
1 工在于应用层
2 无单点,三大组件(tracker，mogstore，database)皆可实现高可用；
3 自动完成文件复制,制的最小单位不是文件，而是class；基于不同的class，文件可以被自动的复制到多个有足够存储空间的存储节点上；
4 传输无需特殊协议,可以通过NFS或HTTP协议进行通信；
5 名称安间简单,文件通过一个给定的key来确定，是一个全局的命名空间；没有目录，基于域实现文件隔离；
6 不共享任何数据,每个存储节点只需维护自己所属的存储设备(device)即可；
MogileFS由部分组成：
(1) server：主要包括mogilefsd和mogstored两个应用程序。
mogilefsd实现的是tracker，它通过数据库来保存元数据信息，包括站点domain、class、host等；
mogstored是存储节点(store node)，它其实是个WebDAV服务，默认监听在7500端口，接受客户端的文件存储请求。
(2) utils（工具集）：主要是MogileFS的一些管理工具，例如mogadm等。
在MogileFS安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。
(3) 客户端API：MogileFS的客户端API很多，例如Perl、PHP、Java、Python等，用这个模块可以编写客户端程序，实现文件的备份管理功能等。
存储主机(节点)
这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节点,也叫 Storage Server,一台存储主要都要启动一个 mogstored 服务.扩容就是增加这些机器.
设备(device)
一个存储节点,以就是上面的主机,可以有多个 device, 就是用来存放文件的目录(例如挂载的目录),每个设备都有一个设备id,需要在 mogstored 的配置文件中的 docroot 配置的项目 指定的目录下面创建相应的设备的目录,目录名为 $docroot/dev$id,设备是不能删除的.只能将其设备的状态的值置为dead,当一个设备 dead 之后,就真的 dead了,里面的数据也无法恢复了,且这个dead了的设备的 id 也不能再用.
MogileFS架构
tracker 追踪元数据
mogilefsd 守护进程
它的主要职责
replication 节点之间文件得复制
deletion 删除文件
queryworker 响应客户请求的文件元数据访问请求
reaper 在存储失败后将文件复制请求重新放置于队列中
monitor 监主机和设备的健康状态
database 存储元数据
存储mogilefs的元数据，一般使用MySQL ，建议使用冗余方案以保证其可用性：(MMM,MHA)
mogilefs专门提供了数据结构管理工具mogdbsetup
storage 存储数据
mogstored 守护进程，一个准备好的mogstored节点可通过mogadm命令添加至现在的集群中。
存储节点需要定义"设备" 用作存储空间 每个"设备"在当前集群都需要通过一个惟一的DevID来标识
Client
客户端用于与mogilefs建立通信，完成数据存取；
工作流程
高可用架构
MogileFS管理的几个概念：
Domain
一个MogileFS 可以有多个Domain， 用来存放不同文件(大小，类型)
同一个Domain内，key必须唯一
不同Domain内，Key可以相同
Class
最小复制单元
文件属性管理
定义文件存储在不同设备上份数据
每个设备都有ID号，Domain+Fid用来定位文件
实验准备
安装Mariadb
https://mariadb.org/ 网站下载 mariadb-5.5.46-linux-x86_64.tar.gz
1.准备
groupadd -r -g 306 mysql useradd -r -g 306 -u 306 mysql mkdir -pv /mydata/data chown -R mysql.mysql /mydata
2.安装Mariadb
tar zxf mariadb-5.5.46-linux-x86_64.tar.gz -C /usr/local/ cd /usr/local/ ln -sv mariadb-5.5.46-linux-x86_64 mysql cd mysql chown -R root.mysql ./* scripts/mysql_install_db --user=mysql --datadir=/mydata/data mkdir /etc/mysql cp support-files/my-large.cnf /etc/mysql/my.cnf
3.配置Mariadb
vim /etc/mysql/my.cnf datadir = /mydata/data innodb_file_per_table = on skip_name_resolve = on
4.将Mariadb加到服务项
cp support-files/mysql.server /etc/init.d/mysqld chkconfig --add mysqld service mysqld start
5.将Mariadb客户端程序加到环境变量
vim /etc/profile.d/mysql.sh export PATH=/usr/local/mysql/bin:$PATH source /etc/profile.d/mysql.sh
源码安装MogileFS
去官方下载http://www.danga.com/的源码
MogileFS-Server MogileFS-Server-2.72.zip
MogileFS-Utils MogileFS-Utils-2.29.zip
perl-MogileFS-Client perl-MogileFS-Client-1.17.zip
Perlbal Perlbal-1.80.zip #Tracker不用安装,storage必须安装
1.安装epel
wget http://mirrors.aliyun.com/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -ivh epel-release-6-8.noarch.rpm
2.安装MogileFs 用到的依赖包
yum install perl-IO-stringy perl-DBD-MySQL perl-BSD-Resource #base源 yum install perl-Danga-Socket perl-IO-AIO perl-Net-Netmask #epel源
3 安装MogileFS-Client
unzip perl-MogileFS-Client-1.17.zip cd perl-MogileFS-Client-1.17 perl Makefile.PL make make test make install
4.安装MogileFS-Utils
unzip MogileFS-Utils-2.29.zip cd MogileFS-Utils-2.29 perl Makefile.PL make make install
5.安装MogileFS-Server
unzip MogileFS-Server-2.72.zip cd MogileFS-Server-2.72 perl Makefile.PL make make test make install
6.安装Perlbal (Tracker不用安装,storage必须安装)
unzip Perlbal-1.80.zi cd Perlbal-1.80.zip perl Makefile.PL make make test make install
7.添加mogilefs系统服务启动账号
groupadd -r mogilefs useradd -r -g mogilefs mogilefs
8.复制mogilefs的配置文件到/etc/mogilefs/ ，并创建用到的目录
mkdir /etc/mogilefs/ cp /root/MogileFS-Server-2.72/conf/* /etc/mogilefs/ mkdir /var/run/mogilefsd/ chown mogilefs.mogilefs /var/run/mogilefsd/
9添加mogilefsd的服务启动脚本
vim /etc/rc.d/init.d/mogilefsd #!/bin/bash # Author: MageEdu <[email protected]> # mogilefsd - Startup script for the MogileFS tracker # # chkconfig: - 85 15 # description: MogileFS tracker # processname: mogilefsd # config: /etc/mogilefs/mogilefsd.conf # pidfile: /var/run/mogilefsd/mogilefsd.pid # Source function library. . /etc/rc.d/init.d/functions # Path to the apachectl script, server binary, and short-form for messages. lockfile=${LOCKFILE-/var/lock/subsys/mogilefsd} RETVAL=0 prog=/usr/local/bin/mogilefsd #prog=$(which mogilefsd) start() { ulimit -n 65535 echo -n $"Starting mogilefsd" su - mogilefs -c "$prog -c /etc/mogilefs/mogilefsd.conf --daemon" &> /dev/null RETVAL=$? [ $RETVAL = 0 ] && success && touch ${lockfile} || failure echo return $RETVAL } stop() { echo -n $"Stopping mogilefsd" netstat -nlp|grep "mogilefsd"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9 RETVAL=$? [ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure echo } reload() { echo -n $"Reloading mogilefsd: " killall mogilefsd -HUP RETVAL=$? [ $RETVAL = 0 ] && success || failure echo } case "$1" in start) start ;; stop) stop ;; status) status mogilefsd RETVAL=$? ;; restart) stop sleep 1 start ;; reload) reload ;; *) echo $"Usage: mogilefsd {start|stop|restart|reload|status}" exit 1 esac exit $RETVAL
10.设置mogstored 的服务启动脚本
vim /etc/rc.d/init.d/mogstored #!/bin/bash # Author: MageEdu <[email protected]> # mogstored - Startup script for the MogileFS storage # # chkconfig: - 86 14 # description: MogileFS storage # processname: mogstored # config: /etc/mogilefs/mogstored.conf # pidfile: /var/run/mogilefsd/mogstored.pid # Source function library. . /etc/rc.d/init.d/functions # Path to the apachectl script, server binary, and short-form for messages. lockfile=${LOCKFILE-/var/lock/subsys/mogstored} RETVAL=0 configfile='/etc/mogilefs/mogstored.conf' prog=/usr/local/bin/mogstored #prog=$(which mogstored) start() { ulimit -n 65535 echo -n $"Starting mogstored" su - mogilefs -c "$prog -c $configfile --daemon" &> /dev/null RETVAL=$? [ $RETVAL = 0 ] && success && touch ${lockfile} || failure echo return $RETVAL } stop() { echo -n $"Stopping mogstored" netstat -nlp|grep "mogstored"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9 RETVAL=$? [ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure echo } reload() { echo -n $"Reloading mogstored: " killall mogstored -HUP RETVAL=$? [ $RETVAL = 0 ] && success || failure echo } case "$1" in start) start ;; stop) stop ;; status) status mogstored RETVAL=$? ;; restart) stop sleep 1 start ;; reload) reload ;; *) echo $"Usage: mogstored {start|stop|restart|reload|status}" exit 1 esac exit $RETVAL
11.将mogilefsd和mogstored 添加到服务项
chmod +x /etc/init.d/mogilefsd chmod +x /etc/init.d/mogstored chkconfig --add mogilefsd chkconfig --add mogstored
实验一 单tracker + 双 storage
10.10.10.54 tracker + database
10.10.10.55 storage
10.10.10.56 storage
分别在三台服安装mogilefs ,并在10.10.10.54安装mariadb
准备mysql授权10.10.10.0/24段的IP 全部可以连接MySQL
GRANT ALL ON *.* TO 'root'@'10.10.10.%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; SHOW GRANTS; +---------------------------------------------------------------------+ | Grants for root@localhost | +---------------------------------------------------------------------+ | GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' WITH GRANT OPTION | | GRANT PROXY ON ''@'' TO 'root'@'localhost' WITH GRANT OPTION | +---------------------------------------------------------------------+
初始化Mogilefs 数据库,使用mogdbsetup
mogdbsetup --dbhost=10.10.10.54 --dbrootuser=root --dbrootpass=root --dbname=mogilefs --dbuser=mogilefs --dbpass=mogilefs This will attempt to setup or upgrade your MogileFS database. It won't destroy existing data. Run with --help for more information. Run with --yes to shut up these prompts. Continue? [N/y]: y Create/Upgrade database name 'mogilefs'? [Y/n]: y Grant all privileges to user 'mogilefs', connecting from anywhere, to the mogilefs database 'mogilefs'? [Y/n]: y
配置10.10.10.54 tracker
vim /etc/mogilefs/mogilefsd.conf # Enable daemon mode to work in background and use syslog daemonize = 1 # Where to store the pid of the daemon (must be the same in the init script) pidfile = /var/run/mogilefsd/mogilefsd.pid # Database connection information db_dsn = DBI:mysql:mogilefs:host=10.10.10.54 db_user = mogilefs db_pass = mogilefs # IP:PORT to listen on for mogilefs client requests listen = 0.0.0.0:7001
启动
service mogilefsd start
检查监听的7001端口
ss -tnl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 *:7001 *:*
配置10.10.10.55 和10.10.10.56 storage
mkdir -pv /mogdata/dev2 #10.10.10.55 storage2 mkdir -pv /mogdata/dev3 #10.10.10.56 storage3 chown -R mogilefs.mogilefs /mogdata
vim /etc/mogilefs/mogstored.conf maxconns = 10000 httplisten = 0.0.0.0:7500 mgmtlisten = 0.0.0.0:7501 docroot = /mogdata
开启storage(如果启动失败安装Perlbal 和perl-BSD-Resource)
service mogstored start
检查7500 和7501端口是否存在
ss -tnl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 *:7500 *:* LISTEN 0 128 *:7501 *:*
使用mogadm 进行管理
1 add host
mogadm --trackers=10.10.10.54:7001 host add 10.10.10.55 --ip 10.10.10.55 --status=alive mogadm --trackers=10.10.10.54:7001 host add 10.10.10.56 --ip 10.10.10.56 --status=alive mogadm --trackers=10.10.10.54:7001 host list 10.10.10.55 [1]: alive IP: 10.10.10.55:7500 10.10.10.56 [2]: alive IP: 10.10.10.56:7500
2 add device
mogadm --trackers=10.10.10.54:7001 device add 10.10.10.55 2 mogadm --trackers=10.10.10.54:7001 device add 10.10.10.56 3 mogadm --trackers=10.10.10.54:7001 device list 10.10.10.55 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 1.885 44.705 46.590 100 10.10.10.56 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 1.886 44.704 46.590 100 mogadm --trackers=10.10.10.54:7001 check Checking trackers... 10.10.10.54:7001 ... OK Checking hosts... [ 1] 10.10.10.55 ... OK [ 2] 10.10.10.56 ... OK Checking devices... host device size(G) used(G) free(G) use% ob state I/O% ---- ------------ ---------- ---------- ---------- ------ ---------- ----- [ 1] dev2 46.590 1.917 44.674 4.11% writeable 0.0 [ 2] dev3 46.590 1.917 44.674 4.11% writeable 0.0 ---- ------------ ---------- ---------- ---------- ------ total: 93.181 3.834 89.347 4.11% 3 add domain mogadm --trackers=10.10.10.54:7001 domain add pic mogadm --trackers=10.10.10.54:7001 domain add conf mogadm --trackers=10.10.10.54:7001 domain list domain class mindevcount replpolicy hashtype -------------------- -------------------- ------------- ------------ ------- conf default 2 MultipleHosts() NONE pic default 2 MultipleHosts() NONE 4 add class mogadm --trackers=10.10.10.54:7001 class add pic test1 --mindevcount=2 mogadm --trackers=10.10.10.54:7001 class list domain class mindevcount replpolicy hashtype -------------------- -------------------- ------------- ------------ ------- conf default 2 MultipleHosts() NONE pic default 2 MultipleHosts() NONE pic test1 2 MultipleHosts() NONE
检查数据库内容(要上传一次文件刷新才有内容)
mogstats --db_dsn="DBI:mysql:mogilefs:host=10.10.10.54" --db_user="mogilefs" --db_pass="mogilefs" --stats="all" Fetching statistics... (all) Statistics for devices... device host files status ---------- ---------------- ------------ ---------- dev2 10.10.10.55 1 alive dev3 10.10.10.56 1 alive ---------- ---------------- ------------ ---------- Statistics for file ids... Max file id: 3 Statistics for files... domain class files size (m) fullsize (m) -------------------- ----------- ---------- ----------- ------------- pic default 1 0 0 -------------------- ----------- ---------- ----------- ------------- Statistics for replication... domain class devcount files -------------------- ----------- ---------- ---------- pic default 2 1 -------------------- ----------- ---------- ---------- Statistics for replication queue... status count -------------------- ------------ -------------------- ------------ Statistics for delete queue... status count -------------------- ------------ -------------------- ------------ Statistics for general queues... queue status count --------------- -------------------- ------------ --------------- -------------------- ------------
测试
mogupload 上传文件
(注意文件大小写，Could not stat at /usr/local/bin/mogupload line 77. 文件名写错,找不到要上传的文件)
mogupload --trackers=10.10.10.54:7001 --domain=pic --key='mog1.PNG' --file='./mog1.PNG' mogfileinfo 获取文件的信息 mogfileinfo --trackers=10.10.10.54:7001 --domain=pic --key='mog1.PNG' - file: mog1.PNG class: default devcount: 2 domain: pic fid: 3 key: mog1.PNG length: 299456 - http://10.10.10.55:7500/dev2/0/000/000/0000000003.fid - http://10.10.10.56:7500/dev3/0/000/000/0000000003.fid
流览器打开查到的链接测试
mogfetch 下载文件
格式
/usr/bin/mogfetch --trackers=host --domain=foo --key='/hello.jpg' --file='./output'
实验二 三台服务器同时为tracker 和storage
10.10.10.54 tracker + database + storage
10.10.10.55 tracker + storage
10.10.10.56 tracker + storage
mysql 另外实现，本实验为mysql单实例
复制tracker的配置文件到另外两台storage服务器
scp /etc/mogilefs/mogilefsd.conf 10.10.10.55:/etc/mogilefs/ scp /etc/mogilefs/mogilefsd.conf 10.10.10.56:/etc/mogilefs/
复制storage的配置文件到tracker服务器
scp /etc/mogilefs/mogstored.conf 10.10.10.54:/etc/mogilefs/
在三台服务器上全部开启 tracker 和 storage(如果storage启动失败,安装Perlbal 和perl-BSD-Resource))
service mogilefsd start service mogstored start
检查状态 7500 7501 7001 都处于监听状态
ss -tnl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 *:7500 *:* LISTEN 0 128 *:7501 *:* LISTEN 0 128 *:7001 *:*
添加tracker 服务器的host 和 device
mogadm --trackers=10.10.10.54:7001 host add 10.10.10.54 --ip 10.10.10.54 --status=alive mogadm --trackers=10.10.10.54:7001 device add 10.10.10.54 1
查看信息
[root@node4 ~]# mogadm --trackers=10.10.10.54:7001 host list 10.10.10.55 [1]: alive IP: 10.10.10.55:7500 10.10.10.56 [2]: alive IP: 10.10.10.56:7500 10.10.10.54 [3]: alive IP: 10.10.10.54:7500 [root@node4 ~]# mogadm --trackers=10.10.10.54:7001 device list 10.10.10.55 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 1.917 44.673 46.590 100 10.10.10.56 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 1.917 44.673 46.590 100 10.10.10.54 [3]: alive used(G) free(G) total(G) weight(%) dev1: alive 2.932 43.658 46.590 100 [root@node4 ~]# mogadm --trackers=10.10.10.54:7001 device list 10.10.10.55 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 1.917 44.673 46.590 100 10.10.10.56 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 1.917 44.673 46.590 100 10.10.10.54 [3]: alive used(G) free(G) total(G) weight(%) dev1: alive 2.932 43.658 46.590 100 [root@node4 ~]# mogadm --trackers=10.10.10.55:7001 device list 10.10.10.55 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 1.917 44.673 46.590 100 10.10.10.56 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 1.917 44.673 46.590 100 10.10.10.54 [3]: alive used(G) free(G) total(G) weight(%) dev1: alive 2.932 43.658 46.590 100 [root@node4 ~]# mogadm --trackers=10.10.10.56:7001 device list 10.10.10.55 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 1.917 44.673 46.590 100 10.10.10.56 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 1.917 44.673 46.590 100 10.10.10.54 [3]: alive used(G) free(G) total(G) weight(%) dev1: alive 2.932 43.658 46.590 100
检查三台服务器显示数据完全一到
上传文件测试
mogupload --trackers=10.10.10.54:7001,10.10.10.55:7001,10.10.10.56:7001 --domain=pic --key='mog2.PNG' --file='mog2.PNG' mogupload --trackers=10.10.10.54:7001,10.10.10.55:7001,10.10.10.56:7001 --domain=pic --key='mog3.PNG' --file='mog3.PNG'
查看文件信息
mogfileinfo --trackers=10.10.10.54:7001,10.10.10.55:7001,10.10.10.56:7001 --domain=pic --key='mog2.PNG' - file: mog2.PNG class: default devcount: 2 domain: pic fid: 6 key: mog2.PNG length: 526096 - http://10.10.10.55:7500/dev2/0/000/000/0000000006.fid - http://10.10.10.56:7500/dev3/0/000/000/0000000006.fid mogfileinfo --trackers=10.10.10.54:7001,10.10.10.55:7001,10.10.10.56:7001 --domain=pic --key='mog3.PNG' - file: mog3.PNG class: default devcount: 2 domain: pic fid: 7 key: mog3.PNG length: 945124 - http://10.10.10.54:7500/dev1/0/000/000/0000000007.fid - http://10.10.10.55:7500/dev2/0/000/000/0000000007.fid
流览器打开测试
实验三 nginx 反向代理，使用真实URL地址连接mogilefs(上传文件失败)
10.10.10.51 nginx 反向代理mogilefs
10.10.10.54 tracker + database + storage
10.10.10.55 tracker + storage
10.10.10.56 tracker + storage
安装nginx 和 nginx_mogilefs_module
下载nginx
wget http://nginx.org/download/nginx-1.8.0.tar.gz
下载nginx_mogilefs_module
https://www.nginx.com/resources/wiki/modules/
Mogilefs Implements a MogileFS client Download
nginx 提供的版本为nginx_mogilefs_module-1.0.2.tar.gz
可以去开方者提供的下载地址下载
http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.4.tar.gz
https://github.com/pyh/nginx-mogilefs-module/tree/1.0.4
注：由于nginx的mogilefs模块的作者不再维护该模块的原因，所以如果要使用该模块的上传功能，
需要使用nginx的0.7.1到0.8之间的版本，高版本的nginx由于API的变化而不支持PUT功能了。有个用户写了个这个模块的补丁，测试同样不能用curl put上传文件。
引用http://mailman.nginx.org/pipermail/nginx/2010-September/022700.html
http://nginx.org/pipermail/nginx/attachments/20100928/8dd35bf7/attachment-0001.bin
diff --git a/ngx_http_mogilefs_module.c b/ngx_http_mogilefs_module.c index e229f47..a4d249d 100644 --- a/ngx_http_mogilefs_module.c +++ b/ngx_http_mogilefs_module.c @@ -483,6 +483,9 @@ ngx_http_mogilefs_put_handler(ngx_http_request_t *r) case FETCH: spare_location = mgcf->create_close_spare_location; ctx->state = CREATE_CLOSE; +#if defined nginx_version && nginx_version >= 8011 + r->main->count++; +#endif break; case CREATE_CLOSE: r->headers_out.content_length_n = 0;
使用方法 ，编辑ngx_http_mogilefs_module.c.c
在483行case FETCH: 修改为
case FETCH: spare_location = mgcf->create_close_spare_location; ctx->state = CREATE_CLOSE; #if defined nginx_version && nginx_version >= 8011 r->main->count++; #endif break;
2.编译nginx
yum install gcc openssl-devel pcre-devel tar zxf nginx-1.8.0.tar.gz tar zxf nginx_mogilefs_module-1.0.4.tar.gz cd nginx-1.8.0 ./configure \ --prefix=/usr/local/nginx \ --sbin-path=/usr/local/nginx/sbin/nginx \ --conf-path=/etc/nginx/nginx.conf \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --user=nginx \ --group=nginx \ --with-http_ssl_module \ --with-http_flv_module \ --with-http_stub_status_module \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/tmp/nginx/client/ \ --http-proxy-temp-path=/var/tmp/nginx/proxy/ \ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \ --http-scgi-temp-path=/var/tmp/nginx/scgi \ --with-pcre \ --add-module=../nginx_mogilefs_module-1.0.4 make make install
3.添加nginx服务账号
groupadd -r nginx useradd -r -g nginx nginx mkdir -pv /var/tmp/nginx/client/
4.创建启动项文件/etc/rc.d/init.d/nginx，内容如下：
vim /etc/rc.d/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
5.将nginx加入到服务
chmod +x /etc/rc.d/init.d/nginx chkconfig --add nginx service nginx start
6.配置nginx连接mogilefs
vim /etc/nginx/nginx.conf
upstream mogtrackers {
server 10.10.10.54:7001;
server 10.10.10.55:7001;
server 10.10.10.56:7001;
}
location /pic/ {
mogilefs_tracker mogtrackers;
mogilefs_domain pic;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
重新加载nginx 配置
service nginx reload
使用浏览器打开直接URL http://10.10.10.51/pic/mog1.png 测试
7.nginx上传图片 (测试失败)
注：由于nginx的mogilefs模块的作者不再维护该模块的原因，所以如果要使用该模块的上传功能，
需要使用nginx的0.7.1到0.8之间的版本，高版本的nginx由于API的变化而不支持PUT功能了。
vim /etc/nginx/nginx.conf
location /upload/ {
allow 10.10.10.0/24;
deny all;
mogilefs_tracker mogtrackers;
mogilefs_domain pic;
mogilefs_methods PUT DELETE;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
nginx 使用 curl直接上传，特修改
curl -X PUT -T '1.png' http://10.10.10.51/upload/