FastDFS分布式文件系统

FastDFS介绍

FastDFS（Fast Distributed File System）是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等。

FastDFS服务端有两个角色：跟踪器（Tracker）和存储节点（Storage）。

• 跟踪器（Tracker）主要做调度工作，在访问上起负载均衡的作用。
• 存储节点（Storage）存储文件，完成文件管理的所有功能：存储、同步和共存取接口，FastDFS同时对文件的meta data进行管理。

所谓文件的meta data就是文件的相关属性，以键值对（key value pair）的方式表示。文件meta data是文件属性列表，可以包含多个键值对。

FastDFS原理

如上图所示，用户请求发生时，将由系统的跟踪器Tracker来处理请求并分配请求给存储节点。

当Client机更多时，对Tracker的请求压力将增大，因此可以配置多个Tracker来进行Tracker的负载均衡。同时，多个Tracker的存在，也保证了单点故障问题的解决。

而存储节点群（Storage Cluster）则分为多个服务组：

1. 每组多台存储点，具备备份功能，防止数据损坏或首选存储点宕机，并且在高并发时提供更多的数据源，降低服务压力。
2. 多组存储组，组合成集群，保证数据的分散存储，便于扩容，分散单机节点访问压力。

FastDFS的优点

经过上面的介绍，我们就可以看出相对于tomcat的本地存储方式，FastDFS所具备的一些优点：

1. FastDFS不存在单点故障问题、支持容灾。
2. 集群式搭建提高安全性。
3. 保存图片过多时，支持扩容，分配合理 。
4. 具有备份功能、不怕磁盘损坏。 有效解决并发问题。

分布式文件系统的配置文件

这里提供较为全面的分布式系统配置文件，文件名:fdfs_client.conf。内容如下：

其中，tracker_server配置项为系统所在服务器的IP:端口，端口默认为22122。

# connect timeout in seconds
# default value is 30s
connect_timeout=30

# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store log files
base_path=/home/fastdfs

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.150.10:22122

#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V4.05
storage_ids_filename = storage_ids.conf


#HTTP settings
http.tracker_server_port=80

#use "#include" directive to include HTTP other settiongs
##include http.conf

Java接口的实现

FastDFS提供了Java接口，maven项目坐标如下：

<dependency>
    <groupId>fastdfs_clientgroupId>
    <artifactId>fastdfs_clientartifactId>
    <version>1.20version>
dependency>

工具类：

下面是我所写的工具类，因为实在SSM框架环境下使用，因此使用到了spring框架的ClassPathResource类。并且用到了commons.io的工具类。代码如下：

import org.apache.commons.io.FilenameUtils;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient1;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;
import org.springframework.core.io.ClassPathResource;

/**
 * FastDFS分布式文件系统
 * 的文件上传工具类
 * 
 * @author leon_zhangxf
 *
 */
public class FastDFSUtils {

    /**
     * 
     * @param fileBytes     文件字节
     * @param fileName      文件名
     * @param fileSize      文件大小
     * @return  path        文件保存路径，相对于项目下
     * @throws Exception
     */
    public static String fastDFSPicUpload(byte[] fileBytes, String fileName, long fileSize) throws Exception {
        //1. 设置全局Tracker的IP
        ClassPathResource resource = new ClassPathResource("fdfs_client.conf");
        ClientGlobal.init(resource.getClassLoader().getResource("fdfs_client.conf").getPath());

        //2. 连接Tracker
        TrackerClient trackerClient = new TrackerClient();

        //3. 获取Storage的地址
        TrackerServer trackerServer = trackerClient.getConnection();

        //4. 连接Storage的服务器
        StorageServer storageServer = null;
        StorageClient1 storageClient1 = new StorageClient1(trackerServer, storageServer);

        //5. 上传图片
        byte[] file_buff = fileBytes;
        String file_ext_name = FilenameUtils.getExtension(fileName);
        NameValuePair[] meta_list = new NameValuePair[3];
        meta_list[0] = new NameValuePair("fileName", fileName);
        meta_list[1] = new NameValuePair("fileExtName", file_ext_name);
        meta_list[2] = new NameValuePair("fileSize", String.valueOf(fileSize));
        String path = storageClient1.upload_file1(file_buff, file_ext_name, meta_list);

        //返回文件保存路径，相对于web容器和项目
        return path;
    }
}

相关资料请自行搜集，本笔记只提供入门。