LetKing
LetKing

FastDFS

02【熟悉】FastDFS原理及入门

1，系统结构图


FastDFS分为Tracker、Storage，其中Storage负责存储文件，Tracker负责存储文件所在地址，主要作用是负载均衡和资源调度。

Tracker、Storage都可以实现集群部署，Tracker的每个节点地位平等，而Storage可以分为多个组，每个组之间保存的文件是不同的，组内部分为多个成员，每个成员保存的内容是一样，组成员地位一致，没有主从概念。

使用FastDFS存储文件优点：可以应对互联网的海量文件存储，一旦文件较多，可以随时横向扩展，且集群的实现也使系统不存在单点故障问题，用户不会因为服务器宕机而无法访问文件资源。

2，工作流程详解

文件上传：Client会先向Tracker询问存储地址，Tracker查询到存储地址后返回给Client，Client拿着地址直接和对应的Storage通讯，将文件上传至改Storage。

文件下载：同样，Client会向Tracker询问地址，并带上要查询的文件名和组名，Tracker查询后会将地址返回给Client，Client拿着地址和指定Storage通讯并下载文件。


03【掌握】Linux下的安装部署fastdfs

安装fastDFS需要分别安装fastdfs-nginx-module，fastdfs，nginx，libfastcommon

1，安装gcc(编译时需要)

yum install -y gcc gcc-c++

2，安装libevent(运行时需要)

yum -y install libevent

3，安装创建目录上传所有文件

mkdir -p /fileservice/fast

cd /fileservice/fast

4，安装libfastcommon

进入fast目录：cd /fileservice/fast

解压文件：tar -zxvf libfastcommon-1.0.35.tar.gz

进入libfast文件目录：cd libfastcommon-1.0.35

执行编译：./make.sh

安装：./make.sh install

安装完成之后

5、安装fastdfs

5.1，下载 

https://sourceforge.net/projects/fastdfs/files/

网官下载很慢，看我准备的安装文件

5.2，安装相关依赖库

yum install perl

yum install pcre

yum install pcre-devel

yum install zlib

yum install zlib-devel

yum install openssl

yum install openssl-devel

5.3，安装fastdfs

进入fast目录：cd /fileservice/fast

解压文件：tar -zxvf fastdfs-5.11.tar.gz

进入解压后的目录：cd fastdfs-5.11

执行编译：./make.sh

安装：./make.sh install

成功之后

5.4，查看tracker和storage的可执行脚本(后面有用)

ll /etc/init.d/ | grep fdfs

5.5，准备配置文件  默认在/etc/fdfs/下面

cd /etc/fdfs/


先把配置文件名中的sample去了。[可以复制一份]

cp client.conf.sample client.conf

cp storage.conf.sample storage.conf

cp storage_ids.conf.sample storage_ids.conf

cp tracker.conf.sample tracker.conf


然后修改tracker的存放数据和日志的目录。

mkdir -p /home/leige/fastdfs/tracker


6、配置和启动tracker

6.1，切换目录到： /etc/fdfs/ 目录下；

cd /etc/fdfs/

6.2，修改tracker.conf

 vim tracker.conf

base_path=/home/yuqing/fastdfs 改为: base_path=/home/leige/fastdfs/tracker

6.3，启动tracker，运行如下命令：

service fdfs_trackerd  start

注意：在/home/leige/fastdfs/tracker 目录下生成两个目录，一个是数据，一个是日志；


7、配置和启动storage

 由于上面已经安装过FastDFS，这里只需要配置storage就好了；

7.1，切换目录到： /etc/fdfs/ 目录下；

cd /etc/fdfs/

7.2，修改storage.conf ; vim storage.conf

group_name=group1 #配置组名

base_path=/home/yuqing/fastdfs 改为: base_path=/home/leige/fastdfs/storage

[if !vml]

[endif]


#store存放文件的位置(store_path)

store_path0=/home/yuqing/fastdfs 改为：store_path0=/home/leige/fastdfs/storage


#如果有多个挂载磁盘则定义多个store_path，如下

#store_path1=.....

#store_path2=......

#配置tracker服务器:IP

tracker_server=117.48.203.125:22122

#如果有多个则配置多个tracker

#tracker_server=117.48.203.126:22122


7.3，创建/home/leige/fastdfs/storage 目录

mkdir -p /home/leige/fastdfs/storage

7.4，启动storage， 运行命令如下：

service fdfs_storaged start

启动完成后进入 /home/leige/fastdfs/storage/data 目录下，显示目录如下：


8、使用FastDFS自带工具测试

8.1，切换目录到 /etc/fdfs/ 目录下；

cd /etc/fdfs/cd

8.2，修改client.conf ; vim client.conf，

修改基本路径和tracker_server如下：

  注意：若tracker有多个，可以配置多个，如下:

#tracker_server=......

#tracker_server=......

8.3，拷贝一张图片baobao.png到Centos服务器上的 /root/目录下；

8.4,进行测试

运行如下（运行测试程序，读取/etc/fdfs/client.conf 文件，上传/root/目录下的baobao.png文件）

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/baobao.png

 结果如下，表示搭建成功；

以上图中的文件地址：http://117.48.203.125/group1/M00/00/00/wKgAA135BdKAEOs1ADW668UZmDM218.png 对应storage服务器上的/home/leige/fastdfs/storage/data/00/00/wKgAA135BdKAEOs1ADW668UZmDM218.png文件；

由于现在还没有和nginx整合无法使用http下载。

9、FastDFS 和nginx整合

9.1 在tracker上安装 nginx

 在每个tracker上安装nginx，的主要目的是做负载均衡及实现高可用。如果只有一台tracker可以不配置nginx。

 一个tracker对应多个storage，通过nginx对storage负载均衡；

9.2 在storage 上安装nginx

 （1）上传fastdfs-nginx-module-1.20.tar.gz 到Centos服务器上；

 （2）解压fastdfs-nginx-module-1.20.tar.gz 并移动到/usr/local目录下；

tar -zxvf  fastdfs-nginx-module-1.20.tar.gz   解压

（3）切换目录到：fastdfs-nginx-module-1.20/src 目录下

cd fastdfs-nginx-module-1.20/src

（4）修改config文件，将文件中的所有 /usr/local/ 路径改为/usr/

修改之后


（5）将fastdfs-nginx-module/src下的mod_fastdfs.conf拷贝至/etc/fdfs/下

cp mod_fastdfs.conf /etc/fdfs/

（6）并修改/etc/fdfs/mod_fastdfs.conf 的内容；

vi /etc/fdfs/mod_fastdfs.conf

tracker_server=117.48.203.125:22122

#tracker_server=192.168.172.20:22122 #(多个tracker配置多行)

url_have_group_name=true #url中包含group名称

store_path0=/home/fdfs_storage #指定文件存储路径（上面配置的store路径）

9.3 进入之前解压的fastdfs目录下，把http.conf、mime.conf移动至/etc/fdfs

cp http.conf mime.types /etc/fdfs/

10， Nginx的安装

10.1，上传 nginx-1.15.2.tar.gz 到Centos服务器上；

10.2，解压nginx-1.15.2.tar.gz 

cd /fileservice/fast/

tar -zxvf nginx-1.15.2.tar.gz

10.3，进入nginx解压的目录下

cd nginx-1.15.2/

10.4，加入模块命令配置

./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/fileservice/fast/fastdfs-nginx-module-1.20/src

10.5，编译并安装

make&&make install

10.6，修改nginx配置

cd /opt/nginx/conf

vim nginx.conf

10.7，启动nginx

cd /usr/bin/

./nginx   #启动

11、在浏览器中访问上传到fastDFS的图片

因为Centos系统有防火墙，需要先关闭掉，才可以在浏览器中访问；

（1）CentOS 7.0默认使用的是firewall作为防火墙；若没有启用iptables 作为防火墙，则使用以下方式关闭防火墙：

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

（2）若已经启用iptables作为防火墙，则使用以下方式关闭：

service iptables stop #临时关闭防火墙

chkconfig iptables off #永久关闭防火墙

 （3）在谷歌浏览器中访问刚才上传的图片：

刚才上传的图片地址为：http://117.48.203.125/group1/M00/00/00/wKgAA135BdKAEOs1ADW668UZmDM218.png

宝宝镇楼，可爱不



03【掌握】使用Docker搭建

1，拉取镜像并启动

dockerrun-d--restart=always--privileged=true--net=host--name=fastdfs-eIP=192.168.149.128-eWEB_PORT=80-v${HOME}/fastdfs:/var/local/fdfsregistry.cn-beijing.aliyuncs.com/tianzuo/fastdfs

​

其中-v ${HOME}/fastdfs:/var/local/fdfs是指：将${HOME}/fastdfs这个目录挂载到容器里的/var/local/fdfs这个目录里。所以上传的文件将被持久化到${HOME}/fastdfs/storage/data里，IP 后面是自己的服务器公网ip或者虚拟机ip，-e

WEB_PORT=80 指定nginx端口


2，测试上传

//进入容器

dockerexec-itfastdfs/bin/bash

//创建文件

echo"Hello FastDFS!">index.html

//测试文件上传

fdfs_test/etc/fdfs/client.confuploadindex.html

3，配置端口

4，测试访问

http://192.168.149.128/group1/M00/00/00/wKiVgF3dfV6ANGAyAAAADwL5vO455_big.html

04【掌握】使用Java代码 测试上传

创建项目

修改pom.xml


创建fdfs_client.conf

创建测试类进行文件上传



测试

05【掌握】使用springboot完成文件上传1

创建项目



修改pom.xml

创建yml

创建UploadService

package com.sxt.utils;

import org.apache.commons.lang3.StringUtils;

import org.csource.fastdfs.*;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.stereotype.Component;

import org.springframework.web.multipart.MultipartFile;

import java.util.HashMap;

import java.util.Map;

/**

 *@program: fastdfs-demo

 *@author: 

 *@create: 2020-01-03 10:05

 **/

@Component

public class UploadService {

@Value("${fastdfs.tracker_servers}")

private String tracker_servers;

@Value("${fastdfs.connect_timeout_in_seconds}")

private int connect_timeout;

@Value("${fastdfs.network_timeout_in_seconds}")

private int network_timeout;

@Value("${fastdfs.charset}")

private String charset;

public Map upload(MultipartFile  multipartFile) {

if (multipartFile == null) {

throw new RuntimeException("文件不能为空");

        }

// 上传至fastDFS, 返回文件id

        String fileId = this.fdfsUpload(multipartFile);

if (StringUtils.isEmpty(fileId)) {

            System.

out.println("上传失败");

throw 

  newRuntimeException("上传失败");

        }

        Map map=

new HashMap<>();

        map.put(

"code",200);

        map.put(

"msg","上传成功");

        map.put(

"fileId",fileId);

return map;

    }

/**

     *上传至fastDFS

     *@param multipartFile

     *@return 文件id

     */

    private String fdfsUpload(MultipartFile  multipartFile) {

// 1. 初始化fastDFS的环境

        initFdfsConfig();

// 2. 获取trackerClient服务

        TrackerClient trackerClient = new TrackerClient();

try {

            TrackerServer trackerServer  = trackerClient.getConnection();

// 3. 获取storage服务

            StorageServer storeStorage =  trackerClient.getStoreStorage(trackerServer);

// 4. 获取storageClient

            StorageClient1 storageClient1 = new StorageClient1(trackerServer,  storeStorage);

// 5. 上传文件 (文件字节, 文件扩展名, )

            // 5.1获取文件扩展名

            String originalFilename =  multipartFile.getOriginalFilename();

            String extName =  originalFilename.substring(originalFilename.lastIndexOf(

".") + 1);

// 5.2 上传

            String fileId =

  storageClient1.upload_file1(multipartFile.getBytes(), extName, null);

return fileId;

        }

catch (Exception e) {

            System.

out.println(e);


return null;

        }

    }


/**

     *初始化fastDFS的环境

     */

    private void initFdfsConfig() {

try {

            ClientGlobal.initByTrackers(

tracker_servers);

            ClientGlobal.setG_connect_timeout(

connect_timeout);

            ClientGlobal.setG_network_timeout(

network_timeout);

            ClientGlobal.setG_charset(

charset);

        }

catch (Exception e) {

            System.

out.println(e);

        }

    }

}



创建UploadController

/**

 *@program: fastdfs-demo

 *@author: 

 *@create: 2020-01-03 10:08

 **/

@RestController

@RequestMapping

("upload")

public class UploadController {


@Autowired


private UploadService uploadService;


/**

     *作上传

     */

    @RequestMapping("doUpload")


public Map  doUpload(MultipartFile mf){

        System.

out.println(mf.getOriginalFilename());

        Map map =

uploadService.upload(mf);


return map;

    }

}




创建static/index.html

测试

06【掌握】使用springboot完成文件上传2

    

修改pom.xml


创建配置类UploadProperties

/**

 *@program: fastdfs-demo

 *@author: 

 *@create: 2020-01-03 10:44

 **/

@ConfigurationProperties(prefix = "upload")

@Data

public class UploadProperties {

private String baseUrl;

private List allowTypes;

}

修改yml文件


创建UploadService

package com.sxt.utils;

import com.github.tobato.fastdfs.domain.fdfs.StorePath;

import com.github.tobato.fastdfs.service.FastFileStorageClient;

import com.sxt.config.UploadProperties;

import org.apache.commons.lang3.StringUtils;

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.context.properties.EnableConfigurationProperties;

import org.springframework.stereotype.Component;

import org.springframework.web.multipart.MultipartFile;

import javax.imageio.ImageIO;

import java.awt.image.BufferedImage;

import java.io.IOException;

/**

 *@program: fastdfs-demo

 *@author: 雷哥

 *@create: 2020-01-03 10:48

 **/

@Component

@EnableConfigurationProperties

(UploadProperties.class)

public class UploadService {

private Log log= LogFactory.getLog(UploadService.class);

@Autowired

private FastFileStorageClient storageClient;

@Autowired

private UploadProperties prop;

public String uploadImage(MultipartFile file) {

// 1、校验文件类型

        String contentType =  file.getContentType();

if (!prop.getAllowTypes().contains(contentType))  {

throw new RuntimeException("文件类型不支持");

        }

// 2、校验文件内容

        try {

            BufferedImage image =  ImageIO.read(file.getInputStream());

if (image == null || image.getWidth() == 0 || image.getHeight() == 0) {

throw new RuntimeException("上传文件有问题");

            }

        }

catch (IOException e) {

log.error("校验文件内容失败....{}", e);

throw new RuntimeException("校验文件内容失败"+e.getMessage());

        }

try {

// 3、上传到FastDFS

            // 3.1、获取扩展名

            String extension = StringUtils.substringAfterLast(file.getOriginalFilename(),".");

// 3.2、上传

            StorePath storePath = storageClient.uploadFile(file.getInputStream(),

  file.getSize(), extension, null);

// 返回路径

            return prop.getBaseUrl() + storePath.getFullPath();

        }

catch (IOException e) {

log.error("【文件上传】上传文件失败！....{}", e);

throw 

  newRuntimeException("【文件上传】上传文件失败！"+e.getMessage());

        }

    }

}




创建UploadController


创建index.html测试

你可能感兴趣的:(FastDFS)

  • 分布式文件系统FastDFS动态扩容 欢醉
    当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的
  • fastdfs 04 安装fastdfs-nginx-module支持http Herman7z
    在余大的GitHub上下载好fastdfs-nginx-module上传到我们的CentOS中就可以开始安装了，在安装nginx之前需要先安装一些模块依赖的lib库，直接贴出安装代码：yum-yinstallpcrepcre-develyum-yinstallzlibzlib-develyum-yinstallopensslopenssl-devel依次装好这些依赖之后就可以开始安装nginx了。
  • 如何使用FastDFS编写文件上传功能 菜到极致就是渣 Java项目实用知识分布式架构java前端开发语言
    在编写该功能模块的时候，首先你要确保已经完成了FastDFS和Nginx的相关配置下载，没有的话可以看下我写的这篇文章：FastDFS环境安装（1）编写接口看你的编码习惯吧，我写了个接口//文件服务publicinterfaceFileService{/***上传文件*@paramfileBytes图片文件转成的字节数组*@paramfileName文件名*@return上传后的文件访问路径*/S
  • 阿里云上的云服务配置fastdfs时，storage启动成功却端口没有打开 09c72470861c
    先在安全组策略里将22122和23000打开（也不知道具体是不是都要开，时间匆忙没测试）输入ifconfig命令，查看网络配置，找到inet后面那个ip，就是内网ip将这个ip配置到storage.conf中的tracker_server中，如172.16.4.89:22122将tracker和storage重启：/etc/init.d/fdfs_trackerdstart和/etc/init.d
  • FastDFS的安装（分布式项目中的图片管理） 菜到极致就是渣 环境搭建Java项目实用知识分布式架构分布式java
    分布式项目中我们将图片存放在FastDFS中，也是用它来管理图片的，但是还需要使用Nginx的代理功能才能访问FastDFS中存放的图片（也就是说还要安装Nginx）一、FastDfs的安装（1）安装gcc编译器yuminstallgcc-c++perl-develpcre-developenssl-develzlib-develwget（2）上传FastDFS和FastDFS依赖包（压缩包资源放
  • centos安装FastDFS lingFei_y javacentosfastdfs
    1.Centos下安装FastDFS1.1上传将课前资料中的文件上传到linux下的/home/leyou/fdfs目录:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o32zAtGy-1576464628974)(assets/1526205834487.png)]1.2安装依赖FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想
  • CentOS部署FastDFS+Nginx并实现远程访问本地服务器中文件 芷栀夏 cpolar服务器centosnginx
    文章目录前言1.本地搭建FastDFS文件系统1.1环境安装1.2安装libfastcommon1.3安装FastDFS1.4配置Tracker1.5配置Storage1.6测试上传下载1.7与Nginx整合1.8安装Nginx1.9配置Nginx2.局域网测试访问FastDFS3.安装cpolar内网穿透4.配置公网访问地址5.固定公网地址5.1保留二级子域名5.2配置二级子域名6.测试访问固定
  • day03_Nginx_图片上传 归暔山 电商项目java
    学习目标使用域名访问本地项目Nginx图片上传FastDFS实现图片上传1.使用域名访问本地项目1.1.统一环境我们现在访问页面使用的是：http://localhost:8080有没有什么问题？实际开发中，会有不同的环境：开发环境：自己的电脑测试环境：提供给测试人员使用的环境预发布环境：数据是和生成环境的数据一致，运行最新的项目代码进去测试生产环境：项目最终发布上线的环境如果不同环境使用不同的i
  • 一次 @Component 不生效的故障排查 中年老IT 码农跟管理生涯心得jar
    事情是这样的，目前的系统跟第三方系统有一个接口交互，对方调用我们的接口，我们会把文件通过FastDfs传到fastdfs文件集群服务器上。最近发现接口调用经常有异常，通过日志排查发现是StringfileUrl=FastDFSClientUtil.upload_file(file_buff,fileType,null);这一步报null了；而且诡异的地方是重启应用后就正常；真是百思不得姐。。。看这
  • FastDFS 分布式集群搭建详解 程序员大佬超 FastDFS分布式FastDFSfdfs
    文章目录前言1、整体架构2、安装配置FastDFS集群2.1配置tracker2.2配置storage3、启动集群4、查看集群情况5、nginx配置5.1配置storage的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解，所以本文有些内容我就一笔带过，传送门：《FastDFS环境搭建及使用详解》1、
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【四】 良辰美景好时光 vuespringbootspringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3.Vue的fast.js8.4.fastdfsimg.vue8.5.效果九、总结endl八、文件的下载和删除功能8.1.FastDFSClient.java@Slf4jpublicclassFast
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【二】 良辰美景好时光 springbootvuespringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client配置文件6.4.跨域配置GlobalCrosConfig.java6.5.创建模型--实体类6.5.1.FastDfsFile.java6.5.2.FastDfsFileTy
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【三】 良辰美景好时光 vuespringbootspringbootvue.js
    分布式文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4.Role7.2.5.RoleMenu7.3.编辑配置文件application.yml7.4.编写工具类7.4.1.AuthContextHolder7.4.2.HttpUtils
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js 良辰美景好时光 springbootvuespringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商1.4.1.阿里OSS1.4.2.七牛云存储1.4.3.百度云存储二、fastDFS2.1.fastDSF介绍2.2.为什么要使用fastDFS2.3.fastDSF工作原理2.3.1.fa
  • FastDFS安装 w漫漫
    1.安装FastDFS依赖FastDFS是C语言开发的应用.安装必须使用make,cmake和gcc编译器#yuminstall-ymakecmakegccgcc-c++2.上传并解压libfastcommon-master上传libfastcommon-master到/usr/local/tmp下.libfastcommon是从FastDFS和FastDHT中提取出来的公共C函数库解压libfa
  • 畅购商城(十二)：接入微信扫码支付 Robod
    好好学习，天天向上本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star畅购商城(一)：环境搭建畅购商城(二)：分布式文件系统FastDFS畅购商城(三)：商品管理畅购商城(四)：Lua、OpenResty、Canal实现广告缓存与同步畅购商城(五)：Elasticsearch实现商品搜索畅购商城(六)：商品搜索畅购商城(七)：Th
  • FastDFS安装并整合Openresty 良辰美景好时光 nginxopenresty
    FastDFS安装并整合Openresty一、安装环境准备【CentOS7.9】二、FastDFS--tracker安装2.1.下载fastdfs2.2.FastDFS安装环境2.3.安装FastDFS依赖libevent库2.4.安装libfastcommon2.5.安装libserverframe网络框架2.6.tracker编译安装2.7.安装之后文件目录介绍2.8.错误处理2.9.配置Fa
  • fastdfs安装 onthemoving
    参考网址：https://hub.docker.com/r/season/fastdfshttps://www.cnblogs.com/provence666/p/10987156.html1.拉取fastdfs镜像dockerpullseason/fastdfs2.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）dockerrun-ti-d--nametrakcer-v/
  • Spring Boot + Vue.js + FastDFS 实现分布式图片服务器（IDEA教学) 公众号-老炮说Java java分布式java编程语言人工智能spring
    最近，很多读者朋友问我有没有手把手教学的实战项目，今天分享给大家一套视频教程。这个教程的项目采用SpringBoot+Vue.js+FastDFS开发一套完整实用的分布式图片服务。该教程采用IDEA教学，有完整的源码和笔记。IDEA教学笔记详细课程目录什么是文件系统什么是分布式文件系统主流分布式文件系统介绍FastDFS介绍FastDFS工作原理FastDFS安装与配置FastDFS测试-搭建环境
  • 常用的文件系统、存储类型小整理 Hehuyi_In 性能杂七杂八存储文件系统分布式共享
    最近接触到了五花八门的文件系统、存储类型，名词听得头大，趁假期整理学习一番~名称OSSFastDFSJuiceFSCIFSCephFSEFSNFS全称ObjectStorageService(对象存储服务)FastDistributedFileSystem(快速分布式文件系统)JuiceFileSystem(Juice文件系统)CommonInternetFileSystem(通用互联网文件系统)
  • Springboot整合fastDfs管理使用文件笔记 Joe14103 常用代码块与笔记springbootfastdfsjava封装分布式
    一、安装搭建请参考：centos系统安装搭建fastDFS二、需要开放的端口1、80(nginx)2、22122(tracker)3、23000(storage)三、步骤1、创建新Springboot项目，使用自己早期的hello-rabbit，导入核心依赖org.springframework.bootspring-boot-starter-parent2.2.2.RELEASEorg.spri
  • ubuntu下编译nginx平滑添加stream模块以及fastdfs访问模块 码农下的天桥 nginxstreamfastdfs
    前言参考资料：ubntu下单机配置fastdfs作为开发环境（2）—nginx生产环境下再编译+fastdfs扩展模块的编译编译nginx平滑添加stream模块nginxstream模块初探Ubuntu16.04安装Nginx编译配置过程首先看看有没有nginx，没有的话要安装一个—因为我们最后要看看官方安装时候的编译参数啊，否则凭自己能记住那么多编译参数吗？本机没有，安装：sudoapt-ge
  • FastDFS搭建 超人001
    一.介绍技术论坛：http://bbs.chinaunix.net/forum-240-1.html资源地址：https://sourceforge.net/projects/fastdfs/源码资源：https://github.com/happyfish100FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了
  • 类比 lzb30
    分布式图片服务器FastDFS是什么？一款开源的分布式文件系统，冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标类比：图书馆有什么用？可用来搭建一套高性能的文件服务器集群提供文件上传、下载等服务类比：提供借书、还书服务FastDFS架构包括Trackerserver和Storageserver，客户端请求Trackerserver进行文件上传、下载，通过Trackerserver调度
  • 基于SpringBoot3的快速迭代平台 快乐的木子李 技术栈java
    SpringBoot3的快速开发平台前言一、技术栈二、项目结构三、总结前言MateBoot是一个基于SpringBoot3的快速开发平台，采用前后端分离的模式，前端采用ElementPlus组件，后端采用SpringBoot3、Sa-token、Mybatis-Plus、Redis、RabbitMQ、FastDFS等核心技术，同时提供了代码生成器，能够快速生成前后端代码，减少开发量，提高开发效率。
  • 首次！这样搭建SpringBoot脚手架，整合OSS效果翻倍 磕代码的阿轩
    1.前言文件服务器是一个应用必要的组件之一。最早我搞过FTP，然后又用过FastDFS，接私活的时候我用MongoDB也凑合凑合。现如今时代不同了，开始流行起了OSS。Gitee:gitee.com/felord/konoday06分支欢迎StarGitHub:github.com/NotFound403…day06分支欢迎Star2.什么是OSS全称为ObjectStorageService，也
  • (二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能 厉害哥哥吖 ATP应用测试平台dfs中间件
    前言本节内容我们主要介绍一下如何在springboot项目中集成fastdfs组件，实现文件的上传与下载。关于fastdfs服务中间键的安装过程，本节内容不做介绍。fastdfs是一个轻量级的分布式文件系统，也是我们文件存储中常常使用的组件之一，主要包括文件存储、文件同步、文件访问，实现了文件存储和负载均衡的问题。正文①引入fastdfs客户端的maven依赖   com.github.tobat
  • SpringBoot 整合 Minio 上传文件 Java码农
    Minio上传文件如果不使用云服务的话,需要本地搭建,一般选择FastDFS但是FastDFS安装比较复杂,今天了解一款安装使用更简单的存储系统MinIOMinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。MinIO与传统的存储和其他的对象存储不同的是：它一开始就针对性能要求更高的私有云标准进行软件架构设计。
  • springboot 文件下载 忘忧记 springboot后端java
    前言文件下载:将服务器某个资源文件下载到用户本地计算机过程称之为文件下载用户通过浏览器访问页面，点击链接之后，就能从服务器下载本地中。具体思路：a.确定项目中哪些资源可以被下载aa.txt用户须知.doc…b.将可以被下载资源放入服务器指定位置、文件上传服务器fastdfs(dfs分布式文件存储系统1000个节点冗余备份)c.项目中开发一个下载页面download.jsp提供下载文件链接d.开发下
  • MinIO很强-让我放弃FastDFS拥抱MinIO的8个理由 字母哥课堂
    目前可用于文件存储的网络服务选择有很多，比如阿里云OSS、七牛云、腾讯云等等，但是收费都有点小贵。为了帮公司节约成本，之前一直是使用fastDFS作为文件服务器，准确的说是图片服务器。直到我发现了MinIO，我决定放弃FastDFS。关于MinIO的使用方法，我就不说了。大家去看MinIO官网地址：docs.min.io/cn/，非常详细。我就从对比的角度来说说我为什么果断的放弃了fastDFS，
  • [黑洞与暗粒子]没有光的世界 comsci
         无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算      但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界....      那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的 &nbs
  • jQuery Lazy Load 图片延迟加载 aijuans jquery
    基于 jQuery 的图片延迟加载插件，在用户滚动页面到图片之后才进行加载。 对于有较多的图片的网页，使用图片延迟加载，能有效的提高页面加载速度。 版本： jQuery v1.4.4+ jQuery Lazy Load v1.7.2 注意事项： 需要真正实现图片延迟加载，必须将真实图片地址写在 data-original 属性中。若 src
  • 使用Jodd的优点 Kai_Ge jodd
    1.  简化和统一 controller ，抛弃 extends SimpleFormController ，统一使用 implements Controller 的方式。 2.  简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。 3.  对 bean 没有任何要求，可以使用任意的 bean 做为 formBean。   使用方法简介
  • jpa Query转hibernate Query 120153216 Hibernate
    public List<Map> getMapList(String hql, Map map) { org.hibernate.Query jpaQuery = entityManager.createQuery(hql); if (null != map) { for (String parameter : map.keySet()) { jp
  • Django_Python3添加MySQL/MariaDB支持 2002wmj mariaDB
    现状 首先，[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话，会发现 django.db.backends.mysql 依赖 MySQLdb[5] ，而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案 首先据MySQL文档[3]说，自从MySQL
  • 在SQLSERVER中查找消耗IO最多的SQL 357029540 SQL Server
    返回做IO数目最多的50条语句以及它们的执行计划。 select top 50   (total_logical_reads/execution_count) as avg_logical_reads,  (total_logical_writes/execution_count) as avg_logical_writes,  (tot
  • spring UnChecked 异常 官方定义！ 7454103 spring
      如果你接触过spring的 事物管理！那么你必须明白 spring的 非捕获异常！ 即 unchecked 异常！ 因为 spring 默认这类异常事物自动回滚！！ public static boolean isCheckedException(Throwable ex) { return !(ex instanceof RuntimeExcep
  • mongoDB 入门指南、示例 adminjun javamongodb操作
    一、准备工作 1、 下载mongoDB 下载地址：http://www.mongodb.org/downloads 选择合适你的版本 相关文档：http://www.mongodb.org/display/DOCS/Tutorial 2、 安装mongoDB A、 不解压模式： 将下载下来的mongoDB-xxx.zip打开，找到bin目录，运行mongod.exe就可以启动服务，默
  • CUDA 5 Release Candidate Now Available aijuans CUDA
    The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
  • Essential Studio for WinRT网格控件测评 Axiba JavaScripthtml5
    Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件，如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时，该控件还包含了一组独特的库，用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。 网格控件功能 1、
  • java 获取windows系统安装的证书或证书链 bewithme windows
          有时需要获取windows系统安装的证书或证书链，比如说你要通过证书来创建java的密钥库  。 有关证书链的解释可以查看此处 。   public static void main(String[] args) { SunMSCAPI providerMSCAPI = new SunMSCAPI(); S
  • NoSQL数据库之Redis数据库管理(set类型和zset类型) bijian1013 redis数据库NoSQL
    4.sets类型         Set是集合，它是string类型的无序集合。set是通过hash table实现的，添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。         sadd：向名称为key的set中添加元
  • 异常捕获何时用Exception，何时用Throwable bingyingao
    用Exception的情况 try {        //可能发生空指针、数组溢出等异常         } catch (Exception e) {          
  • 【Kafka四】Kakfa伪分布式安装 bit1129 kafka
    在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证   1. 安装步骤   Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
  • Project Euler bookjovi haskell
    Project Euler是个数学问题求解网站，网站设计的很有意思，有很多problem，在未提交正确答案前不能查看problem的overview，也不能查看关于problem的discussion thread，只能看到现在problem已经被多少人解决了，人数越多往往代表问题越容易。     看看problem 1吧： Add all the natural num
  • Java-Collections Framework学习与总结-ArrayDeque BrokenDreams Collections
            表、栈和队列是三种基本的数据结构，前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用，当然由于实现方式的不同，操作的效率也会不同。         这篇要看一下java.util.ArrayDeque。从命名上看
  • 读《研磨设计模式》-代码笔记-装饰模式-Decorator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.FileOutputStream; import java.io.Fi
  • Maven学习(一) chenyu19891124 Maven私服
        学习一门技术和工具总得花费一段时间，5月底6月初自己学习了一些工具，maven+Hudson+nexus的搭建，对于maven以前只是听说，顺便再自己的电脑上搭建了一个maven环境，但是完全不了解maven这一强大的构建工具，还有ant也是一个构建工具，但ant就没有maven那么的简单方便，其实简单点说maven是一个运用命令行就能完成构建，测试，打包，发布一系列功
  • [原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充 comsci 算法工作PHP搜索引擎嵌入式
    本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案，请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来，请大家多指点 节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法) 需要解决的问题：已知分支
  • Linux中用shell获取昨天、明天或多天前的日期 daizj linuxshell上几年昨天获取上几个月
    在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday'  # 或 date -d 'last day' # 获取明天 date -d 'tomorrow'   # 或 date -d 'next day' # 获取上个月 date -d 'last month' #
  • 我所理解的云计算 dongwei_6688 云计算
          在刚开始接触到一个概念时，人们往往都会去探寻这个概念的含义，以达到对其有一个感性的认知，在Wikipedia上关于“云计算”是这么定义的，它说：        Cloud computing is a phrase used to describe a variety of computing co
  • YII CMenu配置 dcj3sjt126com yii
    Adding id and class names to CMenu We use the id and htmlOptions to accomplish this. Watch. //in your view $this->widget('zii.widgets.CMenu', array( 'id'=>'myMenu', 'items'=>$this-&g
  • 设计模式之静态代理与动态代理 come_for_dream 设计模式
    静态代理与动态代理        代理模式是java开发中用到的相对比较多的设计模式，其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题，真实主题执行具体的业务操作，而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆，我们可以删除看成主业务，而把检验用户是否登陆看成其相关业务
  • 【转】理解Javascript 系列 gcc2ge JavaScript
    理解Javascript_13_执行模型详解 摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念，那么这一篇将深入分析执行上下文的构建过程，了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时，第一步是创建其执行环境，在创建执行环境的过程中，会按照定义的先后顺序完成一系列操作:1.首先会创建一个
  • Subsets II hcx2013 set
    Given a collection of integers that might contain duplicates, nums, return all possible subsets. Note: Elements in a subset must be in non-descending order. The solution set must not conta
  • Spring4.1新特性——Spring缓存框架增强 jinnianshilongnian spring4
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • shell嵌套expect执行命令 liyonghui160com
        一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧.   系统:centos 5.x   1.先安装expect yum -y install expect   2.脚本内容: cat auto_svn.sh   #!/bin/bash
  • Linux实用命令整理 pda158 linux
    0. 基本命令 　　linux 基本命令整理 　 　1. 压缩 解压 　　tar -zcvf a.tar.gz a   #把a压缩成a.tar.gz 　　tar -zxvf a.tar.gz     #把a.tar.gz解压成a 　 　2. vim小结 　　2.1 vim替换 　　:m,ns/word_1/word_2/gc  
  • 独立开发人员通向成功的29个小贴士 shoothao 独立开发
    概述：本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。 明白你从事独立开发的原因和目的。 保持坚持制定计划的好习惯。 万事开头难，第一份订单是关键。 培养多元化业务技能。 提供卓越的服务和品质。 谨小慎微。 营销是必备技能。 学会组织，有条理的工作才是最有效率的。 “独立
  • JAVA中堆栈和内存分配原理 uule java
    1、栈、堆 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他