FASTDFS初探

FastDFS简述

FastDFS是一个开源的轻量级分布式系统，她对文件进行管理，功能包括：文件存储，文件同步，文件上传，文件下载等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站，视频网站等。

FastDFS服务端有两个角色：tracker跟踪器和storage存储节点。跟踪器主要做调度工作，在访问上起负载均衡的作用

存储节点存储文件，完成管理的所有功能：存储，同步和提供存取接口。FastDFS同时对文件的相关属性进行管理。文件metadata以键值对的方式表示，可以包含多个键值对。

跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器可以随时增加或下线而不会影响线上的服务。其中跟踪器中的所有服务器都是对等的。可以根据服务器的压力情况随时增加或减少。

为了支持大容量，storage采用了分卷的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将他们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，缺一不可。

FastDFS的优势：

1.FastDFS完善度较高，不需要二次开发即可直接使用

2.有着详细的设计和使用文档

3.日志记录非常详细，系统运行时发生的任何错误信息都会记录到日志文件中，当出现问题时方便定位错误

4.FastDFS对文件属性进行存取，应用不需要使用数据库来存储这些信息。

5.相同文件只保存一份，节省了存储空间，提高文件访问效率，实现了秒传的功能

6.在系统中增加任何角色的服务器都很容易：增加tracker服务器时，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服务器时，通常不需要修改任何配置文件，系统会自动将该卷已有文件复制到服务器；

7.FastDFS更底层，更高效，用c编写，没有依赖其他开源软件或程序包，安装和部署简洁

8.FastDFS直接使用socket通信方式，效率高，使用sendfile传输文件，采用了内存零拷贝，系统开销小，文件传输效率高。