Nginx+fastDFS-nginx-module+FastDFS配置分布式文件系统

简介

FastDFS是一个开源的轻量级的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

tracker server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳，Tracker根据 storage 心跳信息，建立 group--->[storage server list]的映射表；tracker 管理的元数据很少，会直接存放在内存；tracker 上的元信息都是由 storage 汇报的信息生成的，本身不需要持久化任何数据，tracker 之间是对等关系，因此扩展 tracker 服务非常容易，直接增加tracker 服务器即可，所有 tracker 都接受 stroage 心跳信息，生成元数据信息来提供读写服务（与其他 Master-Slave 架构的优势是没有单点，tracker 也不会成为瓶颈，最终数据是和一个可用的Storage Server 进行传输的）注：tracker管理的group数据和server数据可以在tracker的data路径中找到storage_groups_new.dat、storage_servers_new.dat。

storage server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以包含多台 storage server，数据互为备份，存储容量空间以 group 内容量最小的 storage 为准；建议 group 内的 storage server 配置相同；以 group 为单位组织存储能够方便的进行应用隔离、负载均衡和副本数定制；缺点是 group 的容量受单机存储容量的限制， 同时 group 内机器坏掉，数据恢复只能依赖 group 内其他机器重新同步（坏盘替换，重新挂载重启 fdfs_storaged 即可）

一、安装前准备

1.系统说明

操作系统：CentOS release 6.5(Final)

ip：20.10.80.17

主机名：localhost.localdomain

部署角色：tracker storage nginx

2.准备编译环境 

yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel

注：参照文件“fastdfs安装前准备组件安装.docx“

3.检测防火墙

检测防火墙是否开启命令：service iptables status

防火墙关闭命令：service iptables stop

注：为了方便测试 关闭防火墙 service iptables stop

搭建完毕之后可以将相应端口及规则加入到防火墙中（端口填写自己配置的实际端口）

tracker添加到防火墙规则中

iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport22122 -j ACCEPT

storage

iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport23000 -j ACCEPT

nginx

iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport80 -j ACCEPT

端口要修改成自己配置中实际的端口，修改之后进行下面的命令进行保存

/etc/init.d/iptables save

二、源码准备

源码下载,下载后统一拷贝到目录/usr/local/src/

 

2.1.1  下载fastDFS 5.01 地址：

http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.01/FastDFS_v5.01.tar

2.1.2  下载 nginx 1.7.0：

    http://nginx.org/download/nginx-1.7.0.tar.gz

2.1.3  fastdfs-nginx-module_v1.16：

   http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

 

三、安装编译

3.1安装FastDFS

cd   /usr/local/src/

tar xf FastDFS_v5.01.tar.gz

cd FastDFS

./make.sh && ./make.sh install 

3.2解压fastDFS-nginx-module

cd   /usr/local/src/

 tar -zxvf  fastdfs-nginx-module_v1.16.tar.gz

 

注意：zxvf

x : 从 tar 包中把文件提取出来

z : 表示 tar 包是被 gzip 压缩过的，所以解压时需要用 gunzip 解压

v : 显示详细信息

f xxx.tar.gz:  指定被处理的文件是 xxx.tar.gz,f后面必须跟上要处理的文件名,也就是说你不能写成这样 tar -zxfvfastdfs-nginx-module_v1.16.tar.gz

3.3安装Nginx并附加fastdfs-nginx-module 模块

cd /usr/local/src/

 tar xf nginx-1.7.0.tar.gz

 cd nginx-1.7.0

//编译安装 nginx附带 fastdfs-nginx-module模块

./configure --user=nginx --group=nginx--prefix=/usr/local/nginx --add-module=../fastdfs-nginx-module/src

make

make install

四、配置

 4.1 tracker的配置

4.1.1创建tracker数据以及日志存放目录

mkdir -p /usr/local/src/fastdfs/tracker

4.1.2修改FastDFS的tracker.conf配置文件(当安装完FastDFS是，在/etc/fdfs目录下会出现tracker.conf storage.conf两个配置文件)

vim /etc/fdfs/tracker.conf

主要修改项：

base_path= /usr/local/src/fastdfs/tracker

max_connections=100

work_threads=8

store_lookup=0

store_path=0

reserved_storage_space=10%

run_by_group=root

run_by_user=root

rotate_error_log=true

为了以后迁移数据的方便，个人推荐使用服务器的id生成文件的url名称，而不是默认的使用ip，如果使用id生成文件名url，在tracker.conf文件中修改如下参数

# if use storage ID instead of IP address

# default value is false

# since V4.00

use_storage_id = true

# specify storage ids filename, can use relative or absolute path

# since V4.00

storage_ids_filename = /usr/local/src/FastDFS/conf/storage_ids.conf

# id type of the storage server in the filename, values are:

## ip: the ip address of the storage server

## id: the server id of the storage server

# this paramter is valid only when use_storage_id set to true

# default value is ip

# since V4.03

id_type_in_filename = id

再在mod_fastdfs.conf修改文件如下参数

根据这两个参数的注释说明可以知道，可以不设置的，只有当mod_fastdfs.conf配置文件中load_fdfs_parameters_from_tracker=false的时候才会到mod_fastdfs.conf配置文件中取这两个参数值

# if use storage ID instead of IP address

# same as tracker.conf

# valid only when load_fdfs_parameters_from_tracker is false

# default value is false

# since V1.13

use_storage_id = true

 

# specify storage ids filename, can use relative or absolute path

# same as tracker.conf

# valid only when load_fdfs_parameters_from_tracker is false

# since V1.13

storage_ids_filename = /usr/local/src/FastDFS/conf/storage_ids.conf

4.1.3将tracker交给service管理并且设置开机启动

cp /usr/local/src/FastDFS/init.d/fdfs_trackerd  /etc/init.d/     //服务脚本必须存放在/etc/ini.d/目录下

chkconfig   --add  fdfs_trackerd      //增加所指定的系统服务，让chkconfig指令得以管理它，并同时在系统启动的叙述文件内增加相关数据

chkconfig  fdfs_trackerd on             //设置开机启动

service fdfs_trackerd start              //即使启动服务

4.2修改storage.conf配置文件

创建数据存放目录

 mkdir -p /usr/local/src/fastdfs/storage/data

修改FastDFS的storage.conf配置文件

 vim /etc/fdfs/storage.conf

修改主要项目如下：

work_threads=8

store_path_count=1

base_path=/usr/local/src/fastdfs/storage

store_path0=/usr/local/src/ fastdfs/storage

##tracker_server 的地址

tracker_server=20.10.80.17:22122

如果是多个tracker_server的话，就直接写多个，如下图

##运行 FastDFS 的用户组

run_by_group=root

##运行 FastDFS 的用户

run_by_user=root

file_distribute_path_mode=1

rotate_error_log=true

 

4.3整合fastdfs-nginx-module模块mod_fastdfs.conf配置文件

把nginx模块的配置文件拷贝到 /etc/fdfs中，进行修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf   /etc/fdfs/

主要修改项

 connect_timeout=30

tracker_server=20.10.80.17:22122

group_name=group1

url_have_group_name = true

store_path_count=1

store_path0=/usr/local/src/fastdfs/storage

 

4.1         nginx配置

4.4.1nginx.conf配置文件

  vim /usr/local/nginx/conf/nginx.conf

修改后内容如下：

user root  root; ---用户   用户组

worker_processes  3;

error_log /usr/local/nginx/logs/error.log;

error_log /usr/local/nginx/logs/error.log notice;

error_log /usr/local/nginx/logs/error.log info;

pid   /usr/local/nginx/logs/nginx.pid;

events {

   worker_connections  1024;

}

http {

 include mime.types;

 default_type application/octet-stream;

 server_names_hash_bucket_size 128;

 client_header_buffer_size 32k;

 large_client_header_buffers 4 32k;

 client_max_body_size 50m;

   log_format  main  '$remote_addr - $remote_user [$time_local]"$request"

                      '$status $body_bytes_sent"$http_referer" '

                     '"$http_user_agent" "$http_x_forwarded_for"';

 access_log /usr/local/nginx/logs/access.log main;

 upstream server_group1{

 server20.10.80.17:80;

 }

server {

 listen80;

 server_name localhost.localdomain;

 access_log   off;

#这里是对nginx和fastdfs-nginx-module的整合

 

location  /group1/M00{
    root/usr/local/src/fastdfs/storage/data;
    ngx_fastdfs_module;
  }

 }

}

注意：如果要做storage集群的话，那么在upstream server_group1{}中将所有服务器放进去，如下图

 

4.4.2创建软连接

ln  -s  /usr/local/src/fastdfs/storage/data     /usr/local/src/fastdfs/storage/data/M00

这个软连接也可以不创建，不创建的话，data的根目录如下：

以group1/M00/14/F3/oYYBAFaPB7mETEqJAAAAAAgc1Og742.png为例，该图片在这里面直接进入14，然后进入F3就能找到

如果创建的软连接的话，如下图

在里面多了一个M00路径，可以通过进入M00，再进入14，再进入F3找到图片，当然直接进入14，进入F3也能找到，这只是一个连接。

因为我们再nginx的location里在group1下多配了一个M00路径。

4.4.3把storage 交给service管理并且设置开机启动

 cp /usr/local/src/FastDFS/init.d/fdfs_storaged   /etc/init.d/

 chkconfig --add fdfs_storaged

 chkconfig fdfs_storaged on

 service fdfs_storaged start

 启动storage，会根据配置文件的设置自动创建多级存储目录，如下图：

五、问题及解决方法

a)  nginx扩展模块，不能正常显示图片的问题

在配置文件/etc/fdfs/mod_fastdfs.conf中，缺省的设置是这样的：http.need_find_content_type=false这个参数在nginx中需要设置为true，apache中应该设置为false

注意：http.need_find_content_type=false这个配置是在/etc/fdfs/mod_fastdfs.conf中进行配置的，如果该配置文件中没有改配置就直接加上，保存之后重启nginx即可。

b)  400 bad request

[2011-12-1215:24:21] ERROR - file: /tmp/fastdfs-nginx-module/src/common.c, line: 561,logic file: M00/00/00/wKgBNU7lqyjzJZ4mAA4CRXl5SCQ670.jpg not exists
2011/12/12 15:24:21 [error] 14147#0: *1 open()"/home/nginx/nginx/html/favicon.ico" failed (2: No such file ordirectory), client: 192.168.1.123, server: localhost, request: "GET/favicon.ico HTTP/1.1", host: "20.10.80.17:80"

修改/fastdfs/conf/mod_fastdfs.conf里面url_have_group_name = true

 

六、测试

1.    在20.10.80.17上启动tracker，storage，nginx

启动tracker     service fdfs_trackerd start
启动storage   service fdfs_storaged start
启动nginx        /usr/local/nginx/sbin/nginx

如果启动nginx有问题，可以看下是不是这个博客所指的问题与解决方法

http://blog.csdn.net/ystyaoshengting/article/details/48681193

2.    配置一个client 在tracker上进行

 vim /etc/fdfs/client.conf

base_path= /usr/local/src/fastdfs/storage

tracker_server=20.10.80.17:22122

如果是多个tracker的话，这里也是需要像storage.conf里说的那样写多个tracker_server

3.    查看集群详细

 fdfs_monitor  /etc/fdfs/client.conf

结果如下图

4.    测上传

fdfs_upload_file     /etc/fdfs/client.conf     /usr/fastdfs/hibernate.jpg

返回：/group1/M00/00/00/wKhQFFWYq1iAXUcbAAF9-d2hUpA735.jpg

5.    浏览器访问http://20.10.80.17/group1/M00/00/00/wKhQFFWYx6WAaeCIAALJTvfxx5I331.jpg检测上传是否成功