MogileFS是一个开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发。Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。目前使用MogileFS 的公司非常多,如日本排名先前的几个互联公司及国内的yupoo(又拍)、digg、豆瓣、1号店、大众点评、搜狗和安居客等,分别为所在的组织或公司管理着海量的图片。
MogileFS由3个部分组成:
(1) server:主要包括mogilefsd和mogstored两个应用程序。mogilefsd实现的是tracker,它通过数据库来保存元数据信息,包括站点domain、class、host等;mogstored是存储节点(store node),它其实是个WebDAV服务,默认监听在7500端口,接受客户端的文件存储请求。在MogileFS安装完后,要运行mogadm工具将所有的store node注册到mogilefsd的数据库里,mogilefsd会对这些节点进行管理和监控。
(2) utils(工具集):主要是MogileFS的一些管理工具,例如mogadm等。
(3) 客户端API:MogileFS的客户端API很多,例如Perl、PHP、Java、Python等,用这个模块可以编写客户端程序,实现文件的备份管理功能等。
存储主机(节点)
这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节点,也叫 Storage Server,一台存储主要都要启动一个 mogstored 服务.扩容就是增加这些机器.
设备(device)
一个存储节点,以就是上面的主机,可以有多个 device, 就是用来存放文件的目录(例如挂载的目录),每个设备都有一个设备id,需要在 mogstored 的配置文件中的 docroot 配置的项目 指定的目录下面创建相应的设备的目录,目录名为 $docroot/dev$id,设备是不能删除的.只能将其设备的状态的值置为dead,当一个设备 dead 之后,就真的 dead了,里面的数据也无法恢复了,且这个dead了的设备的 id 也不能再用.
分布式存储或分布式文件系统:
集中式:
共享存储
NAS
SAN
分布式存储或分布式文件系统一般遵循两个法则:
1.文件在存储级别只是表现为数据流,而不提供文件系统本身的功能
2.提供文件系统功能
但是至少每个数据流要有一个唯一标识(按名存取),元数据必不可少
分布式两种存储方式:
1.分布式一般专门有一个服务器存元数据(元数据节点),其他节点存储数据
元数据节点会分配好数据到各个服务器上 再对数据进行冗余--datablock
2.无专门提供的元数据节点时,那每一个节点都存储了整个集群的完整的元数据,和一部分数据(如果不是一部分就不叫分布式存储了) -- 好处在于没有单点
分布式存储的挑战:
节点间的通信
数据存储
数据空间平衡
容错
文件系统支持
分布式:
文件系统:有文件系统接口
存储:无文件系统接口,通过api访问
分布式文件系统的常见实现:
GFS:google file system 海量数据高效存储
HDFS: Hadoop Distribute filesystem
元数据都放在元数据节点上,但是这些元数据都是存储在内存中,所以存储文件数量有限,而且整个系统的单点所在,对于存储海量小数据不是很理想,但是试用于一些文件数不多的大文件
淘宝开源的存储文件系统
TFS:Taobao file system
开源将元数据存储于关系型数据库或其他高性能存储中,从而能维护海量的文件元数据,
但是带来的劣势:
1.依靠外部的组件来实现文件系统,依赖的组件变多,组件不在完整
2.放在外部存储中,没有放在内存中性能高
GlasterFS:
去中心化设计(没有专门的元数据节点),即无专门提供的元数据节点,每一个节点都存储了整个集群的完整的元数据,和一部分数据
ceph:
整合进linux内核当中的分布式文件系统,已经被收录进内核
MooseFS:mfs
MogileFS:经过测表明MogileFS的性能比MooseF高
MogileFS 架构:适合存储海量小文件
1.Tracker:元数据节点,负责从Database中检索元数据或从Database中存储元数据
2.Database:存文件的元数据(关系型数据库) 用户的访问权限也在其中存取
3.Storage Node
每一个客户端在实现数据存取时
1.找Tracker获得元数据,Tracker会告诉你数据在哪,或者在哪个Storage Node上存储
2.client 再去相应的Storage Node上进行存取
橙色表示:元数据存取线路,Database和Storage 交互的原因是因为 数据的访问权限也定义在Database中
绿色:client 请求路线
蓝色:Storage Node中的数据冗余
特性:
mogilefs的高可用不包括数据库 所以数据库的高可用要自己做
1.基于http 存储 所以非常适用于web站点中
2.数据存储冗余
3.自动文件复制
4.简单名称空间(可取名的范围就叫命名空间,MogileFS没有目录的概念)
5.不共享任何东西 shared-nothing
6.自动提供冗余,不需要raid设备
7.不能追加写,随机写,只能整个文件替换
8.Tracker client传输,管理数据复制,删除,查询,修复及其监控
9.数据通过HTTP/WEBDAV服务上传到Storage node(数据存储时的服务为Mogstored)
10.mysql存储mogilefs的元数据
客户端请求:
1.client --> 请求反代服务器(nginx(扮演mogilefs client))--->tracker--->database(返回元数据)--->反代服务器(nginx)--->storage node--->反代服务器(nginx)--->client
mogilefs high availability
Tracker高可用:
每个节点既是tracker又是mogstored
前面用nginx做反代,因为是静态内容,所以不需要cookie或者session,无状态的即可
要注意的是,nginx要加入插件才可以进行storage的查询(因为在nginx访问数据的时候用的就不是http机制了,此时nginx扮演mogilefs的客户端)
mogilefs核心概念:
Domain:描述一个名称空间 一个mogilefs可以有多个domain(相当于目录)
用来存放不同的文件(大小,类型)
同一个Domain内,key必须唯一
不同Domain内,key可以相同
class (将多个小文件合并成一个class(单独被冗余的复制单元)最小复制单元)
一个Domain内可以有多个class
文件属性管理
定义文件存储在不同设备商的份数
Domian+fid:定位文件
mogilefs install:
mogilefs-server:公共存储
mogilefs-utils配置工具
perl-perlbal
perl-Danga-Socket
早期的mogilefs 在centos6上能运行,即使在centos7上也能运行但是可能会报错
所以:
安装之后编辑/etc/rc.d/init.d/mogilefs
在其中加上pidfile=/var/run/mogilefsd/mogstored.pid
start
在lockfile后加上 && echo $(pidof mogstored) >${pidfile}
stop:
lockfile后加上 ${pidfile}
mogilefs安装:
1.使用cpan在线安装MogileFS和相关模块:
[root@centos7 ~]# perl -MCPAN -e shell
cpan >install App::cpanminus
cpan >install MogileFS::Server
cpan >install MogileFS::Utils
cpan >install IO::AIO
cpan >install IO::WrapTie
cpan >install Danga::Socket
conf:
/etc/mogilefs/{mogifsd.conf, mogstored.conf}
设定数据库:
create database mogfsdb; # 创建数据库
MariaDB [(none)]>grant all privileges on mogfsdb.* to 'moguser'@'127.0.0.1' identified by 'mogpass';
MariaDB [(none)]> grant all privileges on mogfsdb.* to 'moguser'@'192.168.1.113' identified by 'mogpass';
MariaDB [(none)]> flush privileges;
mogdbsetup --dbhost=127.0.0.1 --dbpass=mogpass
用户名默认为:mogile
useradd -r mogilefs
mkdir /var/run/mogilefsd/
chown -R mogilefs.mogilefs /var/run/mogilefsd
修改主配置文件:/etc/mogilefs/mogilefsd.conf
/etc目录下创建mogilefs目录,并提供配置文件mogilefsd.conf
[root@centos7 ~]# vim /etc/mogilefs/mogilefsd.conf
# Enable daemon mode to work in background and use syslog
daemonize = 1
# Where to store the pid of the daemon (must be the same in the init script)
pidfile = /var/run/mogilefsd/mogilefsd.pid # 指定pid文件位置
# Database connection information
db_dsn = DBI:mysql:mogfsdb:host=127.0.0.1 # 修改为上面授权的账号和密码
db_user = moguser # mysql用户
db_pass = mogpass # mysql密码
# IP:PORT to listen on for mogilefs client requests
listen = 0.0.0.0:7001 # 监听的地址和端口(所有地址的7001端口)
# Optional, if you don't define the port above.
conf_port = 7001
# Number of query workers to start by default.
query_jobs = 10 # 用于查询的进程数
# Number of delete workers to start by default.
delete_jobs = 1 # 用于删除操作的进程数
# Number of replicate workers to start by default.
replicate_jobs = 5 # 用于复制的进程数
# Number of reaper workers to start by default.
# (you don't usually need to increase this)
reaper_jobs = 1 # 用于回收资源的进程数
# Number of fsck workers to start by default.
# (these can cause a lot of load when fsck'ing)
#fsck_jobs = 1
# Minimum amount of space to reserve in megabytes
# default: 100
# Consider setting this to be larger than the largest file you
# would normally be uploading.
#min_free_space = 200
# Number of seconds to wait for a storage node to respond.
# default: 2
# Keep this low, so busy storage nodes are quickly ignored.
#node_timeout = 2
# Number of seconds to wait to connect to a storage node.
# default: 2
# Keep this low so overloaded nodes get skipped.
#conn_timeout = 2
# Allow replication to use the secondary node get port,
# if you have apache or similar configured for GET's
#repl_use_get_port = 1
mogilefsd服务脚本:mogilefs在centos7的上用脚本运行可能会报错 修改地方
#!/bin/bash
#
# mogilefsd - Startup script for the MogileFS tracker
#
# chkconfig: - 85 15
# description: MogileFS tracker
# processname: mogilefsd
# config: /etc/mogilefs/mogilefsd.conf
pidfile: /var/run/mogilefsd/mogilefsd.pid ------开启pid
# Source function library.
. /etc/rc.d/init.d/functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE-/var/lock/subsys/mogilefsd}
RETVAL=0
prog=$(which mogilefsd)
start() {
ulimit -n 65535
echo -n $"Starting mogilefsd"
su - mogilefs -c "$prog -c /etc/mogilefs/mogilefsd.conf --daemon"
RETVAL=$?
[ $RETVAL = 0 ] && success && touch ${lockfile} && echo $(pidof mogstored) > ${pidfile} || failure -----此处修改
echo
return $RETVAL
}
stop() {
echo -n $"Stopping mogilefsd"
netstat -nlp|grep "mogilefsd"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9
RETVAL=$?
[ $RETVAL = 0 ] && success && rm -f ${lockfile} ${pidfile} || failure----- 此处修改
echo
}
reload() {
echo -n $"Reloading mogilefsd: "
killall mogilefsd -HUP
RETVAL=$?
[ $RETVAL = 0 ] && success || failure
echo
}
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status mogilefsd
RETVAL=$?
;;
restart)
stop
sleep 1
start
;;
reload)
reload
;;
*)
echo $"Usage: mogilefsd {start|stop|restart|reload|status}"
exit 1
esac
exit $RETVAL
存储节点:
解决依赖关系,需要安装perl-IO-AIO
启动:
mogstored -c /etc/mogilefs/mogstored.conf -daemon
#通知Trackers有什么host需要添加 有什么Storage需要添加
mogadm host add 192.168.0.203 –ip=192.168.0.203 –port=7500 –status=alive
mogadm等用法:
mogadm check 检测节点 查看节点状态
添加节点:
mogadm host list 每一个存储节点为一个host
mogadm host add 192.168.117.130(节点名称) --ip=192.168.117.130 --status=alive(默认为done)
mogadm host add 192.168.117.131(节点名称) --ip=192.168.117.131 --status=alive(默认为done)
mogadm host add 192.168.117.132(节点名称) --ip=192.168.117.132 --status=alive(默认为done)
mogadm host add 192.168.117.130 1 添加第一个设备
mogadm host add 192.168.117.131 2 添加第二个设备
mogadm host add 192.168.117.132 3 添加第三个设备
mogadm domain add images 创建一个图片存储域
mogadm domain add files 创建名字为files的domain 在其中保存class
mogadm domain list 查看所以域
mogadm class list
中的 mindevcount:最少设备数量 replpolicy:复制策略,基于主机 hashtype:hash类型
复制策略表示最少保存几个副本 ,所以最少设备数量就要和复制策略数相等
mogadm class add images jpeg 创建class class类型为jpeg 不指定则为default
mogadm class add images png ....
mogadm class add files plaintext --maindevcount=1 不复制副本
mogadm class add files html --replpolicy="MultipleHost(3)" 最少保存三份副本
上传:
mogupload
mogupload --trackers=172.16.100.68:7001 --domain=images --class=jpeg --key='/1.jpg' --file='./1.jpg'
查询文件:
mogfileinfo:
mogfileinfo --trackers=host --domain=foo --key='./hello.jpg'
mogfileinfo --trackers=192.168.117.130:7001 --domain=images --key='/1.jpg'
显示可用key
moglistkey:
moglistkey --trackers=192.168.117.130:7001 --domain=images
列出指定域下的所以id
moglistfids
moglistfid --trackers=192.168.117.130:7001
moglistfid --trackers=192.168.117.130:7001 --fromfid=123(从哪个id开始) --count=5000(列出多少个)
mogstats
mogstats --db_dsn="DBI:mysql:mogilefs:host=192.168.117.130" --db_user='moguser' --db_pass='mogpass' --verbose --stats='devices,files'
删除:
mogadm domain delete images 删除domain 先删除类
mogadm class delete images jpeg 注意的是 删除类要先删除类中的文件
mogdelete --trackers=192.168.117.130:7001 --domain=images --key='/1.jpg'
centos7 上编译安装nginx 使其支持nginx_mogilefs_module
1、解决依赖关系
# yum groupinstall "Development Tools" "Server Platform Deveopment"
# yum install openssl-devel pcre-devel
2、安装
首先添加用户nginx,实现以之运行nginx服务进程:
# groupadd -r nginx
# useradd -r -g nginx nginx
接着开始编译和安装:
# ./configure \
--prefix=/usr \
--sbin-path=/usr/sbin/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
--http-scgi-temp-path=/var/tmp/nginx/scgi \
--with-pcre \
--with-debug \
--add-module=
# make && make install make时报警如果是可以忽略的 可以直接去修Makefile将其中的 -Werror 去了 即警告不阻止
在其中的--add-module=中加入你想要编译进去的模块 --add-module=../nginx_mogilefs_module-1.0.4
如果在编译时报错 要自己解决依赖关系 pcre-devel openssl-devel
说明:
1、Nginx可以使用Tmalloc(快速、多线程的malloc库及优秀性能分析工具)来加速内存分配,使用此功能需要事先安装gperftools,而后在编译nginx添加--with-google_perftools_module选项即可。
2、如果想使用nginx的perl模块,可以通过为configure脚本添加--with-http_perl_module选项来实现,但目前此模块仍处于实验性使用阶段,可能会在运行中出现意外,因此,其实现方式这里不再介绍。如果想使用基于nginx的cgi功能,也可以基于FCGI来实现,具体实现方法请参照网上的文档。
centos7
提供unit文件
也可以提供server
[Unit]
Description=The nginx HTTP and reverse proxy server
after=network.target remote-fs.target nss-lookup.target
[service]
Type=forking
PIDFile=/var/run/nginx/nginx.pid
ExecStartPre=/usr/local/nginx/sbin/nginx -t (应用程序所在地)
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
KillMode=process
Killsignal=SIGQUIT
TimeoutStopSec=5
PrivateTmp=true
[Install]
WanteBY=multi-user.target
脚本文件修改完成后
systemctl daemon-reload 重载一下
Nginx 做为 MogileFS 的前端客户端
我们使用 Nginx 来获取文件,做前端的查询代理时需要使用到mogilefs的这个模块.可以下载这个模块编译进 Nginx 就行了.直接使用 ./configure –add-module= 这个参数就可以了.
最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module
使用这个需要考虑到网站原来的 url 是什么样的.比如:
http://www.a.com/uploads/front_page/A6B00135E24AB17E043B9B5453762438.png
这个 URL 中的 UUID 是 A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做 key 来存成 MogileFS 中就行.
再结合 rewrite,只要 key 在 url 里有,就能直接代理到后端的 mogilefs.象如下的写法,会直接取 A6B00135E24AB17E043B9B5453762438.png 来做查询用的 key.
location ~ ([^\/]+)$ { #只要不是根结尾的都进行反代
mogilefs_tracker 192.168.1.xxx:7001;
mogilefs_domain img;
mogilefs_methods GET;
mogilefs_noverify on; 是否不做校验
mogilefs_pass {
proxy_pass $mogilefs_path; 这个变量可以在反代时让nginx构建出一个mogilefs的请求报文发给后端的tracker主机
proxy_hide_header Content-Type; 隐藏Content-Type
proxy_buffering off;
}
}
如果使用了多个 tracker 的话,要配置使用多个 tracker 来进行负载均衡和备份.可以直接配置 tracker 为 upstrame:
upstream online_mogilefs {
server 10.0.0.1:7001;
server 10.0.0.2:7001;
}
然后后面配置 tracker 的连接时,直接加上就行了
mogilefs_tracker online_mogilefs;
如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁.
上面的配置其实也是一样,关键对于上传的配置,需要给方法修改为
mogilefs_methods PUT DETEL;
实例:
location /images { 如果在上传文件时key后加上了如/1.jpg此处images后面不上/ 如果为1.jpg 则location后/images/
mogilefs_tracker 192.168.117.130:7001;
mogilefs_domain img;
mogilefs_methods GET;
mogilefs_noverify on; 是否不做校验
mogilefs_pass {
proxy_pass $mogilefs_path; 这个变量可以在反代时让nginx构建出一个mogilefs的请求报文发给后端的tracker主机
proxy_hide_header Content-Type; 隐藏Content-Type
proxy_buffering off;
}
Tracker高可用:
在每一个服务器上启用tracker
systemctl start mogilefsd.service
Tracker负载均衡
upstrem trackers{
server 192.168.117.130:7001
server 192.168.117.131:7001
server 192.168.117.132:7001
check interval=1000 rise fall=5 timeout=1000 这种自检测 只有tengine可以使用 nginx可能不支持
}
调用时:
location /images {
mogilefs_tracker trackers;
mogilefs_domain img;
mogilefs_methods GET;
mogilefs_noverify on; 是否不做校验
健康状态检测:
localtion /status{
check_status;
allow 192.168.117.130;
deny all;
}
systemctl reload nginx