seeweed 集群 +django+restapi搭建文件服务器集群

由于工作上需要用到一个统一的文件服务器平台，想到了可以使用一下方法实现：

1、采用seaweedfs作为底层分布式文件系统

2、采用django作为web中间层

3、采用djangorestframework作为api接口层

4、采用djangorestframework-jwt做认证token

一、部署seaweedfs

服务器类型:centos 7.6
seaweedfs版本：1.47
服务器三台
192.168.1.1 master salve
192.168.1.2 master slave
192.168.1.3 master slave

在三台服务器其上建如下目录

  mkdir /weed/  #存放weed程序
  mkdir -p /weed/{master,volume} # master目录存放master日志， volume存放data数据

然后，在三台服务器上分别执行如下命令，启动master节点

#在服务器192.168.1.1上执行：
nohup /weed/weed master -ip=192.168.1.1 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -defaultReplication=001> /weed/master.log &

#在服务器192.168.1.2上执行：
nohup /weed/weed master -ip=192.168.1.2 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -defaultReplication=001> /weed/master.log &

#在服务器192.168.1.3上执行：
nohup /weed/weed master -ip=192.168.1.3 -port=9333 -mdir=/weed/master -peers=192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -defaultReplication=001> /weed/master.log &

不同的

配置运行volume

配置volume逻辑卷时, 可以指定数据中心datacenter以及机架rack, 复制模式和数据中心和机架有关, 具体见文档https://github.com/chrislusf/seaweedfs/wiki/Replication
在三台服务器上分别执行如下命令：

#第一台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.1 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -publicUrl 192.168.1.1:8081 > /weed/volume.log &
#第二台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.2 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -publicUrl 192.168.1.2:8081 > /weed/volume.log &
#第三台执行
nohup /weed/weed volume -dataCenter devdc -rack rack1 -port 8081 -ip 192.168.1.3 -dir /weed/volume/ -max 10 -mserver 192.168.1.1:9333,192.168.1.2:9333,192.168.1.3:9333  -publicUrl 192.168.1.3:8081 > /weed/volume.log &

安装完成后的测试

检查系统状态

curl "http://10.0.2.15:9333/cluster/status?pretty=y"

python实现文件上传下载

通过研究pyseeweedfs源码实现该系统

django上传文件的默认行为

django默认上传使用的是

FileSystemStorage类
FileSystemStorage在本地文件系统上实现了基本的文件存储功能，它继承自Storage，并且提供父类的所有公共方法的实现

我们需要做的就是自己写一个存储文件的类，该类继承于Storage,并重写其中的一些方法。
实现步骤：

1.自定义的存储类必须是django.core.files.storage.Storage的子类：

from django.core.files.sotrage import Storage
class WeedStorage(Storage):
     pass

2.存储类必须实现_open()和_save()方法，以及任何适合于你的存储类的其他方法。

from django.core.files.sotrage import Storage
class WeedStorage(Storage):
     def _open():
          pass
     def _save(self, name, content):
      '''
      保存文件时使用；
      name: 文件名，name必须事先通过get_valid_name()和get_available_name()过滤，
      content：是一个File对象
      返回值：应该返回被保存文件的真实名字(通常是传进来的name，但是如果存储需要修改文件名，则返回新的名称来代替)
      '''
          pass
       def exists(self, name):
            '''
            如果提供的名称所引用的文件在文件系统中存在，则返回True，否则如果这个名字可以用于新文件，返回False
            '''
            return False
      def url(self):
        '''
        返回url，通过它可以访问到name所引用的文件，对于不支持url访问的存储系统，抛出NotImplementedError异常    
        '''

如何让django使用我们定义的storage

django提供了两个便捷的方法来获取当前的存储类，
DefaultStraoge提供了对当前存储系统的延迟访问，类似于DEFAULT_FILE_STORAGE中定义的那样
1 在settings.py 中修改默认的storage对象

settings.py文件添加如下设置
 DEFAULT_FILE_STORAGE="自定义storage类位置"