FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS架构包括 Tracker server 和 Storage server。客户端请求Trackerserver进行过文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传、下载。
服务端两个角色:
客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于访问文件的索引信息。文件索引信息包括:组名, 虚拟磁盘路径, 数据两级目录,文件名
可以利用已有的FastDFS Docker镜像来运行Fast DFS。
获取镜像可以通过下载:
sudo docker image pull delron/fastdfs
也可是直接使用提供给大家的镜像备份文件
sudo docker load -i 文件路径/fastdfs_docker.tar
加载好镜像后,就可以开启运行FastDFS的tracker和storage了。
执行如下命令开启tracker服务:
sudo docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
sudo docker container ls
如果想停止tracker服务,可以执行如下命令
sudo docker container stop tracker
停止后,重新运行tracker,可以执行如下命令
sudo docker container start tracker
执行如下命令开启storage服务:
sudo docker run -dti --network=host --name storage -e TRACKER_SERVER=192.168.154.129:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
sudo docker container ls
如果想停止storage服务,可以执行如下命令
sudo docker container stop storage
停止后,重新运行storage,可以执行如下命令
sudo docker container start storage
注意:如果无法重新运行,可以删除/var/fdfs/storage/data目录下的fdfs_storaged.pid 文件,然后重新运行storage。
python版本的FastDFS客户端使用说明参考:
https://github.com/jefforeilly/fdfs_client-py
安装提供的fdfs_client-py-master.zip文件到虚拟环境中:
pip install fdfs_client-py-master.zip
pip install mutagen
pip isntall requests
使用FastDFS客户端,需要有配置文件。我们在meiduo_mall/utils目录下新建fastdfs目录,将提供的client.conf配置文件放到这个目录中。
需要修改一下client.conf配置文件
base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行tracker服务的机器ip:22122
上传文件需要先创建fdfs_client.client.Fdfs_client的对象,并指明配置文件:如:
from fdfs_client.client import Fdfs_client
client = Fdfs_client("meiduo_mall/utils/fastdfs/client.conf")
通过创建的客户端对象执行上传文件的方法:
client.upload_by_filename(文件名)
或
client.upload_by_buffer(文件bytes数据)
如:
>>> ret = client.upload_by_filename('/Users/delron/Desktop/1.png')
getting connection
<fdfs_client.connection.Connection object at 0x1098d4cc0>
<fdfs_client.fdfs_protol.Tracker_header object at 0x1098d4908>
>>> ret
{'Group name': 'group1', 'Remote file_id': 'group1/M00/00/02/CtM3BVr-k6SACjAIAAJctR1ennA809.png', 'Status': 'Upload successed.', 'Local file name': '/Users/delron/Desktop/1.png', 'Uploaded size': '151.00KB', 'Storage IP': '10.211.55.5'}
>>>
Django是自带文件存储系统的,但是默认的文件存储到本地,在本项目中,需要将文件保存到FastDFS服务器上,所以需要自定义文件存储系统。
1) 需要继承自django.core.files.storage.Storage, 如:
# /meiduo_mall/utils/fastdfs/fdfs_client.py
from django.core.files.storage import Storage
class FastDFSStorage(Storage):
...
2) 支持Django不带任何参数来实例化存储类,也就是说任何设置应该从配置django.conf.settings中获取
# /meiduo_mall/utils/fastdfs/fdfs_client.py
# -*-coding:utf-8-*-
from django.conf import settings
from django.core.files.storage import Storage
class FastDFSStroage(Storage):
"""定义FastDFS客户端类"""
def __init__(self, base_url = None, client_conf = None):
"""
初始化对象
:param base_url:
:param client_conf:
"""
if base_url is None:
base_url = settings.FDAS_URL
self.base_url = base_url
if client_conf is None:
client_conf = settings.FDFS_CLIENT_CONF
self.client_conf = client_conf
**3)**存储类中必须实现_open()和_save()方法,以及任何后续使用中可能用到的其他方法。
注意 :并不是这些方法全部都要实现,可以省略用不到的方法
4) 需要为存储类添加django.utils.deconstruct.deconstructible装饰器
# meiduo_mall/utils/fastdfs/fast_storage.py
# -*-coding:utf-8-*-
from django.conf import settings
from django.core.files.storage import Storage
from fdfs_client.client import Fdfs_client
class FastDFSStroage(Storage):
"""定义FastDFS客户端类"""
def __init__(self, base_url = None, client_conf = None):
"""
初始化对象
:param base_url:
:param client_conf:
"""
if base_url is None:
base_url = settings.FDAS_URL
self.base_url = base_url
if client_conf is None:
client_conf = settings.FDFS_CLIENT_CONF
self.client_conf = client_conf
def _open(self, name, mode = 'rb'):
"""
打开文件
:param name:
:param mode:
:return:
"""
pass
def _save(self, name, content):
"""
保存文件
:param name: 传入文件名
:param content: 文件内容
:return:保存到数据库中的FastDFSDE文件名
"""
client = Fdfs_client(self.client_conf)
ret = client.upload_by_buffer(content.read())
if ret.get("Status") != "Upload successed.":
raise Exception("upload file failed")
file_name = ret.get("Remote file_id")
return file_name
def exists(self, name):
"""
检查文件是否重复, FastDFS自动区分重复文件
:param name:
:return:
"""
return False
def url(self, name):
"""
获取name文件的完整url
:param name:
:return:
"""
return self.base_url + name
在settings/dev.py中添加设置:
# django文件存储
DEFAULT_FILE_STORAGE = 'meiduo_mall.utils.fastdfs.fdfs_storage.FastDFSStorage'
# FastDFS
FDFS_URL = 'http://image.meiduo.site:8888/'
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'utils/fastdfs/client.conf')
在/etc/hosts中添加访问FastDFS storage服务器的域名
127.0.0.1 image.meiduo.site