凯撒公猿
凯撒公猿

FastDFS 原理篇

分布式存储选型

这里主要说下按需求选取和使用

在这之前使用过glusterfs 分布式存储,使用过程中部署比较简单,也容易上手.但是存在如下几个问题:

  • 使用glusterfs 主要走的是网络带宽,内网使用率问题.客户端挂载存在单点问题.我曾经尝试过使用内网搭建一套DNS服务器,做负载均衡使用.解决单点问题.但是由于使用的服务器厂商,
    无法自己单间一套DNS轮训的机制.
如果想要深入了解,请移步

[glusterfs详解](http://www.liuwq.com/2017/04/20/glusterfs%E8%AF%A6%E8%A7%A3/)
[glusterfs集群搭建](http://www.liuwq.com/2017/04/11/glusterfs%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/)
  • 开源的东西,大家都知道肯定存在一些BUG,以及使用和配置的东西.
  • 总结下:如果对于客户端挂载单点问题,不是很在意的,可以使用这个分布式存储,廉价\简单易于维护.

主要介绍下Glusterfs与FastDFS对比

指标 FastDFS Glusterfs
适合类型 建议4KB - 500MB 适合大文件存储
文件分布 小文件合并存储 不分片处理 AFR (raid1)
Stripe( raid0 )
DHT(弹性哈希)
系统性能 1.很高(未使用数据库),文件访问点对点不经过 tracker中转
2.无法动态调整磁盘空间负载.
3.客户端需要记录存储信息		 无元数据服务器
复杂度 简单( tracker和 storage两个角色) 简单
是否支持 FUSE 不支持 支持
是否支持POSIX 不支持 支持
备份机制 分组组内备份 镜像
通讯协议接口 原生API\HTTP IP/RDMA
活跃度 国内使用比较多 使用较多

FastDFS

介绍

FastDFS 是一个 C 语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持
Linux、 FreeBSD、 AID 等 Unix 系统,解决了大数据存储和读写负载均衡等问题,适合存储 4KB~500MB
之间的小文件,如图片网站、短视频网站、文档、app 下载站等,UC、京东、支付宝、迅雷、酷狗
等都有使用,其中 UC 基于 FastDFS 向用户提供网盘、广告和应用下载的业务的存储服务 FastDFS
与 MogileFS、HDFS、TFS 等都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务.

开源地址:

旧地址:

相关文档:

架构

FastDFS 服务有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和
客户端(client)

tracker server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server
和 group,每个 storage 在启动后会连接 Tracker,
告知自己所属 group 等信息,并保持周期性心跳,
Tracker 根据 storage 心跳信息,建立 group--->[storage server list]的映射表;tracker 管理
的元数据很少,会直接存放在内存;tracker 上的元信息都是由 storage 汇报的信息生成的,本身
不需要持久化任何数据,tracker 之间是对等关系,因此扩展 tracker 服务非常容易,之间增加
tracker 服务器即可,所有 tracker 都接受 stroage 心跳信息,生成元数据信息来提供读写服务(与
其他 Master-Slave 架构的优势是没有单点,tracker 也不会成为瓶颈,最终数据是和一个可用的
Storage Server 进行传输的)

storage server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以包
含多台 storage server,数据互为备份,存储容量空间以 group 内容量最小的 storage 为准;建
议 group 内的 storage server 配置相同;以 group 为单位组织存储能够方便的进行应用隔离、负
载均衡和副本数定制;缺点是 group 的容量受单机存储容量的限制,同时 group 内机器坏掉,数据
恢复只能依赖 group 内其他机器重新同步(坏盘替换,重新挂载重启 fdfs_storaged 即可)

多个 group 之间的存储方式有 3 种策略:round robin(轮询)、load balance(选择最大剩余空
间的组上传文件)、specify group(指定 group 上传)

group 中 storage 存储依赖本地文件系统,
storage 可配置多个数据存储目录,
磁盘不做 raid,
直接分别挂载到多个目录,将这些目录配置为 storage 的数据目录即可

storage 接受写请求时,会根据配置好的规则,选择其中一个存储目录来存储文件;为避免单
个目录下的文件过多,storage 第一次启时,会在每个数据存储目录里创建 2 级子目录,每级 256
个,总共 65536 个,新写的文件会以 hash 的方式被路由到其中某个子目录下,然后将文件数据直
接作为一个本地文件存储到该目录中

image

总结:1.高可靠性:无单点故障 2.高吞吐性:只要 Group 足够多,数据流量是足够分散的

image

FastDFS 提供基本的文件访问接口,如 upload、download、append、delete 等

选择 tracker server

集群中 tracker 之间是对等关系,客户端在上传文件时可用任意选择一个 tracker

选择存储 group

当 tracker 接收到 upload file 的请求时,会为该文件分配一个可以存储文件的 group,目前
支持选择 group 的规则为:

  • Round robin,所有 group 轮询使用
  • Specified group,指定某个确定的 group
  • Load balance,剩余存储空间较多的 group 优先

选择 storage server

当选定 group 后,tracker 会在 group 内选择一个 storage server 给客户端,目前支持选择
server 的规则为:

  • Round robin,所有 server 轮询使用(默认)
  • 根据 IP 地址进行排序选择第一个服务器(IP 地址最小者)
  • 根据优先级进行排序(上传优先级由 storage server 来设置,参数为 upload_priority)

选择 storage path(磁盘或者挂载点)

当分配好 storage server 后,客户端将向 storage 发送写文件请求,storage 会将文件分配一
个数据存储目录,目前支持选择存储路径的规则为:

  • round robin,轮询(默认)
  • load balance,选择使用剩余空间最大的存储路径

选择下载服务器

目前支持的规则为:

  • 轮询方式,可以下载当前文件的任一 storage server
  • 从源 storage server 下载

生成 file_id

选择存储目录后,storage 会生成一个 file_id,采用 Base64 编码,包含字段包括:storage
server ip、文件创建时间、文件大小、文件 CRC32 校验码和随机数;每个存储目录下有两个 256*256
个子目录,storage 会按文件 file_id 进行两次 hash,路由到其中一个子目录,,然后将文件已
file_id 为文件名存储到该子目录下,最后生成文件路径:group 名称、虚拟磁盘路径、数据两级
目录、file_id

image

其中,组名:文件上传后所在的存储组的名称,在文件上传成功后由存储服务器返回,需要客户端
自行保存

虚拟磁盘路径:存储服务器配置的虚拟路径,与磁盘选项 store_path*参数对应

数据两级目录:存储服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件

同步机制

新增 tracker 服务器数据同步问题

由于 storage server 上配置了所有的 tracker server,storage server 和 tracker
server 之间的通信是由 storage server 主动发起的,storage server 为每个 tracker
server 启动一个线程进行通信;在通信过程中,若发现该 tracker server 返回的本组
storage server 列表比本机记录少,就会将该 tracker server 上没有的 storage server
同步给该 tracker,这样的机制使得 tracker 之间是对等关系,数据保持一致

新增 storage 服务器数据同步问题

若新增 storage server 或者其状态发生变化,tracker server 都会将 storage server
列表同步给该组内所有 storage server;以新增 storage server 为例,因为新加入的
storage server 会主动连接 tracker server,tracker server 发现有新的 storage server
加入,就会将该组内所有的 storage server 返回给新加入的 storage server,并重新将
该组的 storage server 列表返回给该组内的其他 storage server;

组内 storage 数据同步问题

组内 storage server 之间是对等的,
文件上传、
删除等操作可以在组内任意一台 storage
server 上进行。文件同步只能在同组内的 storage server 之间进行,采用 push 方式,
即源服务器同步到目标服务器

  • 只在同组内的 storage server 之间进行同步
  • 源数据才需要同步,备份数据不再同步
  • 特例:新增 storage server 时,由其中一台将已有所有数据(包括源数据和备份数

据)同步到新增服务器

storage server 的 7 种状态:
通过命令 fdfs_monitor /etc/fdfs/client.conf 可以查看 ip_addr 选项显示 storage
server 当前状态
INIT: 初始化,尚未得到同步已有数据的源服务器
WAIT_SYNC :等待同步,已得到同步已有数据的源服务器
SYNCING : 同步中
DELETED : 已删除,该服务器从本组中摘除
OFFLINE : 离线
ONLINE : 在线,尚不能提供服务
ACTIVE : 在线,可以提供服务

组内增加 storage serverA 状态变化过程

  • storage server A 主动连接 tracker server,此时 tracker server 将 storage serverA 状态设置为 INIT
  • storage server A 向 tracker server 询问追加同步的源服务器和追加同步截止时间点(当前时间),若组内只有 storage server A 或者上传文件数为 0,则告诉新机器不需要数据同步,storage server A 状态设置为 ONLINE ;若组内没有 active状态机器,就返回错误给新机器,新机器睡眠尝试;否则 tracker 将其状态设置为WAIT_SYNC
  • 假如分配了 storage server B 为同步源服务器和截至时间点,那么 storage server B 会将截至时间点之前的所有数据同步给 storage server A,并请求 tracker 设置 storage server A 状态为 SYNCING;到了截至时间点后, storage server B 向 storage server A 的同步将由追加同步切换为正常 binlog 增量同步,当取不到更多的 binlog 时,请求 tracker 将 storage server A 设置为 OFFLINE 状态,此时源同步完成
  • storage server B 向 storage server A 同步完所有数据,暂时没有数据要同步时,storage server B 请求 tracker server 将 storage server A 的状态设置为 ONLINE
  • 当 storage server A 向 tracker server 发起心跳时,tracker sercer 将其状态更改为 ACTIVE,之后就是增量同步(binlog)
image

注释:

  • 整个源同步过程是源机器启动一个同步线程,将数据 push 到新机器,最大达到一个磁盘的 IO,不能并发
  • 由于源同步截止条件是取不到 binlog,系统繁忙,不断有新数据写入的情况,将会导致一直无法完成源同步过程

下载

image

client 发送下载请求给某个 tracker,必须带上文件名信息,tracker 从文件名中解析出文件的
group、大小、创建时间等信息,然后为该请求选择一个 storage 用于读请求;由于 group 内的文
件同步在后台是异步进行的,可能出现文件没有同步到其他 storage server 上或者延迟的问题,
后面我们在使用 nginx_fastdfs_module 模块可以很好解决这一问题

image

文件合并原理

小文件合并存储主要解决的问题:

  • 本地文件系统 inode 数量有限,存储小文件的数量受到限制
  • 多级目录+目录里很多文件,导致访问文件的开销很大(可能导致很多次 IO)
  • 按小文件存储,备份和恢复效率低

海量小文件存储问题请参考:
地址1
地址2

FastDFS 提供合并存储功能,默认创建的大文件为 64MB,然后在该大文件中存储很多小文件;
大文件中容纳一个小文件的空间称作一个 Slot,规定 Slot 最小值为 256 字节,最大为 16MB,即小于 256 字节的文件也要占用 256 字节,超过 16MB 的文件独立存储;

为了支持文件合并机制, FastDFS 生成的文件 file_id 需要额外增加 16 个字节;
每个 trunk file
由一个 id 唯一标识,trunk file 由 group 内的 trunk server 负责创建(trunk server 是 tracker
选出来的),并同步到 group 内其他的 storage,文件存储合并存储到 trunk file 后,根据其文件
偏移量就能从 trunk file 中读取文件

博客地址

你可能感兴趣的:(FastDFS 原理篇)

  • zookeeper原理篇-Zookeeper的数据存储与恢复原理 逐梦々少年
    前言经过前面的一些文章的学习和了解，我们对Zookeeper有了一定的理解，但是无论是节点持久化，还是启动流程中的数据恢复等，我们都没有详细的去了解内部的数据存储和恢复的机制，本篇文章就开始学习Zookeeper的数据存储相关。内存存储zookeeper刚开始的时候，我们就已经知道其结构就像一个内存数据库一样，按照树的结构，能把节点的路径、节点数据以及ACL和节点的数据存储，其核心就是依靠Data
  • 分布式文件系统FastDFS动态扩容 欢醉
    当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的
  • 内网穿透技术原理篇 无聊的一个人啊 pythonjavaphpc#算法mysqljson
    内网穿透技术是实现从外部网络访问内网服务的重要手段，尤其在云计算和物联网快速发展的今天愈发显得重要。以下是几种常见的内网穿透技术实现原理：1.端口映射（PortForwarding）端口映射通常在路由器级别进行配置。通过在路由器上设置将外部某个端口的请求转发到内网某个设备上的特定端口，实现从外网访问内网服务。例如，如果你的家用路由器的公网IP是203.0.113.1，你可以将外部的80端口映射到内
  • fastdfs 04 安装fastdfs-nginx-module支持http Herman7z
    在余大的GitHub上下载好fastdfs-nginx-module上传到我们的CentOS中就可以开始安装了，在安装nginx之前需要先安装一些模块依赖的lib库，直接贴出安装代码：yum-yinstallpcrepcre-develyum-yinstallzlibzlib-develyum-yinstallopensslopenssl-devel依次装好这些依赖之后就可以开始安装nginx了。
  • 如何使用FastDFS编写文件上传功能 菜到极致就是渣 Java项目实用知识分布式架构java前端开发语言
    在编写该功能模块的时候，首先你要确保已经完成了FastDFS和Nginx的相关配置下载，没有的话可以看下我写的这篇文章：FastDFS环境安装（1）编写接口看你的编码习惯吧，我写了个接口//文件服务publicinterfaceFileService{/***上传文件*@paramfileBytes图片文件转成的字节数组*@paramfileName文件名*@return上传后的文件访问路径*/S
  • 阿里云上的云服务配置fastdfs时，storage启动成功却端口没有打开 09c72470861c
    先在安全组策略里将22122和23000打开（也不知道具体是不是都要开，时间匆忙没测试）输入ifconfig命令，查看网络配置，找到inet后面那个ip，就是内网ip将这个ip配置到storage.conf中的tracker_server中，如172.16.4.89:22122将tracker和storage重启：/etc/init.d/fdfs_trackerdstart和/etc/init.d
  • SpringBoot原理篇-bean的加载方式 Maiko Star SpringBootsql数据库java
    一、bean的加载方式关于bean的加载方式，spring提供了各种各样的形式。因为spring管理bean整体上来说就是由spring维护对象的生命周期，所以bean的加载可以从大的方面划分成2种形式。已知类并交给spring管理，和已知类名并交给spring管理。有什么区别？一个给.class，一个给类名字符串。内部其实都一样，都是通过spring的BeanDefinition对象初始化spr
  • FastDFS的安装（分布式项目中的图片管理） 菜到极致就是渣 环境搭建Java项目实用知识分布式架构分布式java
    分布式项目中我们将图片存放在FastDFS中，也是用它来管理图片的，但是还需要使用Nginx的代理功能才能访问FastDFS中存放的图片（也就是说还要安装Nginx）一、FastDfs的安装（1）安装gcc编译器yuminstallgcc-c++perl-develpcre-developenssl-develzlib-develwget（2）上传FastDFS和FastDFS依赖包（压缩包资源放
  • 全栈笔记_浏览器工作原理篇（浏览器架构） weiweivita 全栈笔记笔记
    浏览器架构用户界面浏览器引擎网络模块浏览器主要由用户界面、浏览器引擎、渲染引擎、JavaScript解释器、网络模块组成，这些组件共同协作，使浏览器能够呈现网页内容、处理用户操作、与服务器通信，并实现丰富的交互功能，共同构成了现代浏览器的核心功能。用户界面提供操作界面，是用户与浏览器进行交互的界面，提供了用户操作浏览器的各种控件和功能按钮，使用户可以方便地导航网页、管理标签、收藏网页、执行浏览器操
  • centos安装FastDFS lingFei_y javacentosfastdfs
    1.Centos下安装FastDFS1.1上传将课前资料中的文件上传到linux下的/home/leyou/fdfs目录:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o32zAtGy-1576464628974)(assets/1526205834487.png)]1.2安装依赖FastDFS运行需要一些依赖，在课前资料提供的虚拟中已经安装好了这些依赖，如果大家想
  • CentOS部署FastDFS+Nginx并实现远程访问本地服务器中文件 芷栀夏 cpolar服务器centosnginx
    文章目录前言1.本地搭建FastDFS文件系统1.1环境安装1.2安装libfastcommon1.3安装FastDFS1.4配置Tracker1.5配置Storage1.6测试上传下载1.7与Nginx整合1.8安装Nginx1.9配置Nginx2.局域网测试访问FastDFS3.安装cpolar内网穿透4.配置公网访问地址5.固定公网地址5.1保留二级子域名5.2配置二级子域名6.测试访问固定
  • day03_Nginx_图片上传 归暔山 电商项目java
    学习目标使用域名访问本地项目Nginx图片上传FastDFS实现图片上传1.使用域名访问本地项目1.1.统一环境我们现在访问页面使用的是：http://localhost:8080有没有什么问题？实际开发中，会有不同的环境：开发环境：自己的电脑测试环境：提供给测试人员使用的环境预发布环境：数据是和生成环境的数据一致，运行最新的项目代码进去测试生产环境：项目最终发布上线的环境如果不同环境使用不同的i
  • 一次 @Component 不生效的故障排查 中年老IT 码农跟管理生涯心得jar
    事情是这样的，目前的系统跟第三方系统有一个接口交互，对方调用我们的接口，我们会把文件通过FastDfs传到fastdfs文件集群服务器上。最近发现接口调用经常有异常，通过日志排查发现是StringfileUrl=FastDFSClientUtil.upload_file(file_buff,fileType,null);这一步报null了；而且诡异的地方是重启应用后就正常；真是百思不得姐。。。看这
  • JavaWeb学习——事务管理&AOP&原理篇 Ustinian.488 JavaWeb学习数据库
    目录1.事务管理1.1事务回顾--spring事务管理1.2事务进阶--rollbackFor属性1.3事务进阶--propagation属性2.AOP（面向切面编程）2.1AOP基础--快速入门2.2AOP基础--核心概念2.3AOP进阶--通知类型2.4AOP进阶--通知顺序2.5AOP进阶--切入点表达式--execution2.6AOP进阶--切入点表达式[email protected]
  • Android卡顿掉帧问题分析之原理篇 Android技术之家 androidjavawebglaclepoll
    当用户抱怨手机在使用过程中存在卡顿问题的时候，会严重影响用户对手机品牌的好感和应用APP的体验，从而导致用户对手机品牌的忠诚度降低或应用APP的装机留存率下降。所以无论是手机设备厂商还是应用APP开发者，又或是Android系统的维护者Google都会对界面卡顿问题非常重视，会将界面的流畅度作为核心性能体验指标进行持续的优化。说到流畅度，本质上就是要解决用户操作手机过程中的界面丢帧问题，本来一秒钟
  • Unity ScrollRect控件，将Content中任意元素定位到viewport中心的方法 猪皮香蕉 Unity游戏开发之路游戏开发unityugui
    参考：uguimaxminauchor解释localPosition与anchoredPosition的转化关系UnityUGUI原理篇(三)：RectTransformRectTransform中localPosition与anchoredPosition的区别UGUI在两个UI间坐标转换这个需求是做一个小游戏项目中，需要将玩家退出游戏时的关卡保存，在重新加载的过程中，在选关界面的中心自动定位到
  • FastDFS 分布式集群搭建详解 程序员大佬超 FastDFS分布式FastDFSfdfs
    文章目录前言1、整体架构2、安装配置FastDFS集群2.1配置tracker2.2配置storage3、启动集群4、查看集群情况5、nginx配置5.1配置storage的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解，所以本文有些内容我就一笔带过，传送门：《FastDFS环境搭建及使用详解》1、
  • JVM（4）原理篇 梵高Coding JVMjvmjava
    1栈上的数据存储在Java中有8大基本数据类型：这里的内存占用，指的是堆上或者数组中内存分配的空间大小，栈上的实现更加复杂。以基础篇的这段代码为例：Java中的8大数据类型在虚拟机中的实现：boolean、byte、char、short在栈上是不是存在空间浪费？是的，Java虚拟机采用的是空间换时间方案，在栈上不存储具体的类型，只根据slot槽进行数据的处理，浪费了一些内存空间但是避免不同数据类型
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【四】 良辰美景好时光 vuespringbootspringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3.Vue的fast.js8.4.fastdfsimg.vue8.5.效果九、总结endl八、文件的下载和删除功能8.1.FastDFSClient.java@Slf4jpublicclassFast
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【二】 良辰美景好时光 springbootvuespringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client配置文件6.4.跨域配置GlobalCrosConfig.java6.5.创建模型--实体类6.5.1.FastDfsFile.java6.5.2.FastDfsFileTy
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js【三】 良辰美景好时光 vuespringbootspringbootvue.js
    分布式文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4.Role7.2.5.RoleMenu7.3.编辑配置文件application.yml7.4.编写工具类7.4.1.AuthContextHolder7.4.2.HttpUtils
  • 分布式文件系统 SpringBoot+FastDFS+Vue.js 良辰美景好时光 springbootvuespringbootvue.js后端
    分布式文件系统SpringBoot+FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商1.4.1.阿里OSS1.4.2.七牛云存储1.4.3.百度云存储二、fastDFS2.1.fastDSF介绍2.2.为什么要使用fastDFS2.3.fastDSF工作原理2.3.1.fa
  • FastDFS安装 w漫漫
    1.安装FastDFS依赖FastDFS是C语言开发的应用.安装必须使用make,cmake和gcc编译器#yuminstall-ymakecmakegccgcc-c++2.上传并解压libfastcommon-master上传libfastcommon-master到/usr/local/tmp下.libfastcommon是从FastDFS和FastDHT中提取出来的公共C函数库解压libfa
  • 畅购商城(十二)：接入微信扫码支付 Robod
    好好学习，天天向上本文已收录至我的Github仓库DayDayUP：github.com/RobodLee/DayDayUP，欢迎Star畅购商城(一)：环境搭建畅购商城(二)：分布式文件系统FastDFS畅购商城(三)：商品管理畅购商城(四)：Lua、OpenResty、Canal实现广告缓存与同步畅购商城(五)：Elasticsearch实现商品搜索畅购商城(六)：商品搜索畅购商城(七)：Th
  • FastDFS安装并整合Openresty 良辰美景好时光 nginxopenresty
    FastDFS安装并整合Openresty一、安装环境准备【CentOS7.9】二、FastDFS--tracker安装2.1.下载fastdfs2.2.FastDFS安装环境2.3.安装FastDFS依赖libevent库2.4.安装libfastcommon2.5.安装libserverframe网络框架2.6.tracker编译安装2.7.安装之后文件目录介绍2.8.错误处理2.9.配置Fa
  • 【ARM自学笔记】ARM Cortex -A中断系统（原理篇） ORI2333 ARM嵌入式arma单片机
    文章目录前言简述中断向量表GIC架构中断IDGIC逻辑分块CP15协处理器中断使能中断优先级设置程序编写最后前言本文所描述的为Cortex-A7中断系统简述中断是什么？中断（Interrupt）是指处理器接收到来自硬件或软件的信号，提示发生了某个事件，应该被注意，这种情况就称为中断。通常，在接收到来自外围硬件（相对于中央处理器和内存）的异步信号，或来自软件的同步信号之后，处理器将会进行相应的硬件／
  • fastdfs安装 onthemoving
    参考网址：https://hub.docker.com/r/season/fastdfshttps://www.cnblogs.com/provence666/p/10987156.html1.拉取fastdfs镜像dockerpullseason/fastdfs2.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）dockerrun-ti-d--nametrakcer-v/
  • Spring Boot + Vue.js + FastDFS 实现分布式图片服务器（IDEA教学) 公众号-老炮说Java java分布式java编程语言人工智能spring
    最近，很多读者朋友问我有没有手把手教学的实战项目，今天分享给大家一套视频教程。这个教程的项目采用SpringBoot+Vue.js+FastDFS开发一套完整实用的分布式图片服务。该教程采用IDEA教学，有完整的源码和笔记。IDEA教学笔记详细课程目录什么是文件系统什么是分布式文件系统主流分布式文件系统介绍FastDFS介绍FastDFS工作原理FastDFS安装与配置FastDFS测试-搭建环境
  • 常用的文件系统、存储类型小整理 Hehuyi_In 性能杂七杂八存储文件系统分布式共享
    最近接触到了五花八门的文件系统、存储类型，名词听得头大，趁假期整理学习一番~名称OSSFastDFSJuiceFSCIFSCephFSEFSNFS全称ObjectStorageService(对象存储服务)FastDistributedFileSystem(快速分布式文件系统)JuiceFileSystem(Juice文件系统)CommonInternetFileSystem(通用互联网文件系统)
  • Docker基础(1) 原理篇 zhixin9001
    Docker是什么Docker的构成Docker的分层和写时拷贝策略Docker与主流虚拟机的区别Docker镜像与容器的关系镜像的变更管理Docker是什么Docker是一个开源的应用容器引擎。它的理念是“Buildonce,Runanywhere,Configureonce,Runanything”，这与Java提出的“WriteOnce,RunAnywhere”有异曲同工之妙。Java与Do
  • java短路运算符和逻辑运算符的区别 3213213333332132 java基础
    /* * 逻辑运算符——不论是什么条件都要执行左右两边代码 * 短路运算符——我认为在底层就是利用物理电路的“并联”和“串联”实现的 * 原理很简单，并联电路代表短路或（||），串联电路代表短路与（&&）。 * * 并联电路两个开关只要有一个开关闭合，电路就会通。 * 类似于短路或（||），只要有其中一个为true（开关闭合）是
  • Java异常那些不得不说的事 白糖_ javaexception
    一、在finally块中做数据回收操作 比如数据库连接都是很宝贵的，所以最好在finally中关闭连接。 JDBCAgent jdbc = new JDBCAgent(); try{ jdbc.excute("select * from ctp_log"); }catch(SQLException e){ ... }finally{ jdbc.close();
  • utf-8与utf-8(无BOM)的区别 dcj3sjt126com PHP
    BOM——Byte Order Mark，就是字节序标记   在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输 字符"ZERO WIDTH NO-BREAK SPACE"。这样如
  • JAVA Annotation之定义篇 周凡杨 java注解annotation入门注释
        Annotation: 译为注释或注解 An annotation, in the Java computer programming language, is a form of syntactic metadata that can be added to Java source code. Classes, methods, variables, pa
  • tomcat的多域名、虚拟主机配置 g21121 tomcat
    众所周知apache可以配置多域名和虚拟主机，而且配置起来比较简单，但是项目用到的是tomcat，配来配去总是不成功。查了些资料才总算可以，下面就跟大家分享下经验。 很多朋友搜索的内容基本是告诉我们这么配置： 在Engine标签下增面积Host标签，如下： <Host name="www.site1.com" appBase="webapps"
  • Linux SSH 错误解析（Capistrano 的cap 访问错误 Permission ） 510888780 linuxcapistrano
    1.ssh -v [email protected] 出现 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 错误 运行状况如下： OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013 debug1: Reading configuratio
  • log4j的用法 Harry642 javalog4j
    一、前言：     log4j 是一个开放源码项目，是广泛使用的以Java编写的日志记录包。由于log4j出色的表现，     当时在log4j完成时，log4j开发组织曾建议sun在jdk1.4中用log4j取代jdk1.4 的日志工具类，但当时jdk1.4已接近完成，所以sun拒绝使用log4j，当在java开发中
  • mysql、sqlserver、oracle分页，java分页统一接口实现 aijuans oraclejave
    定义：pageStart 起始页，pageEnd 终止页,pageSize页面容量 oracle分页： 　　　　select * from ( select mytable.*,rownum num from (实际传的SQL) where rownum<=pageEnd) where num>=pageStart sqlServer分页：  
  • Hessian 简单例子 antlove javaWebservicehessian
    hello.hessian.MyCar.java package hessian.pojo; import java.io.Serializable; public class MyCar implements Serializable { private static final long serialVersionUID = 473690540190845543
  • 数据库对象的同义词和序列 百合不是茶 sql序列同义词ORACLE权限
    回顾简单的数据库权限等命令; 解锁用户和锁定用户 alter user scott account lock/unlock; //system下查看系统中的用户 select * dba_users; //创建用户名和密码 create user wj identified by wj; identified by //授予连接权和建表权 grant connect to
  • 使用Powermock和mockito测试静态方法 bijian1013 持续集成单元测试mockitoPowermock
            实例： package com.bijian.study; import static org.junit.Assert.assertEquals; import java.io.IOException; import org.junit.Before; import org.junit.Test; import or
  • 精通Oracle10编程SQL(6)访问ORACLE bijian1013 oracle数据库plsql
    /* *访问ORACLE */ --检索单行数据 --使用标量变量接收数据 DECLARE v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; BEGIN select ename,sal into v_ename,v_sal from emp where empno=&no; dbms_output.pu
  • 【Nginx四】Nginx作为HTTP负载均衡服务器 bit1129 nginx
     Nginx的另一个常用的功能是作为负载均衡服务器。一个典型的web应用系统，通过负载均衡服务器，可以使得应用有多台后端服务器来响应客户端的请求。一个应用配置多台后端服务器，可以带来很多好处：   负载均衡的好处 增加可用资源 增加吞吐量 加快响应速度，降低延时 出错的重试验机制 Nginx主要支持三种均衡算法： round-robin l
  • jquery-validation备忘 白糖_ jquerycssF#Firebug
    留点学习jquery validation总结的代码：   function checkForm(){ validator = $("#commentForm").validate({// #formId为需要进行验证的表单ID errorElement :"span",// 使用"div"标签标记错误， 默认:&
  • solr限制admin界面访问（端口限制和http授权限制） ronin47 限定Ip访问
    solr的管理界面可以帮助我们做很多事情，但是把solr程序放到公网之后就要限制对admin的访问了。 可以通过tomcat的http基本授权来做限制，也可以通过iptables防火墙来限制。 我们先看如何通过tomcat配置http授权限制。 第一步： 在tomcat的conf/tomcat-users.xml文件中添加管理用户，比如： <userusername="ad
  • 多线程-用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 bylijinnan java多线程
    public class IncDecThread { private int j=10; /* * 题目:用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 * 两个问题： * 1、线程同步--synchronized * 2、线程之间如何共享同一个j变量--内部类 */ public static
  • 买房历程 cfyme
        2015-06-21: 万科未来城，看房子   2015-06-26: 办理贷款手续，贷款73万，贷款利率5.65=5.3675   2015-06-27: 房子首付,签完合同   2015-06-28，央行宣布降息 0.25，就2天的时间差啊，没赶上。   首付，老婆找他的小姐妹接了5万，另外几个朋友借了1-
  • [军事与科技]制造大型太空战舰的前奏 comsci 制造
           天气热了........空调和电扇要准备好..........        最近,世界形势日趋复杂化,战争的阴影开始覆盖全世界..........        所以,我们不得不关
  • dateformat dai_lm DateFormat
    "Symbol Meaning Presentation Ex." "------ ------- ------------ ----" "G era designator (Text) AD" "y year
  • Hadoop如何实现关联计算 datamachine mapreducehadoop关联计算
        选择Hadoop，低成本和高扩展性是主要原因，但但它的开发效率实在无法让人满意。     以关联计算为例。     假设：HDFS上有2个文件，分别是客户信息和订单信息，customerID是它们之间的关联字段。如何进行关联计算，以便将客户名称添加到订单列表中？   &nbs
  • 用户模型中修改用户信息时，密码是如何处理的 dcj3sjt126com yii
    当我添加或修改用户记录的时候对于处理确认密码我遇到了一些麻烦，所有我想分享一下我是怎么处理的。 场景是使用的基本的那些(系统自带)，你需要有一个数据表(user)并且表中有一个密码字段(password),它使用 sha1、md5或其他加密方式加密用户密码。 面是它的工作流程: 当创建用户的时候密码需要加密并且保存，但当修改用户记录时如果使用同样的场景我们最终就会把用户加密过的密码再次加密，这
  • 中文 iOS/Mac 开发博客列表 dcj3sjt126com Blog
      本博客列表会不断更新维护，如果有推荐的博客，请到此处提交博客信息。 本博客列表涉及的文章内容支持 定制化Google搜索，特别感谢 JeOam 提供并帮助更新。 本博客列表也提供同步更新的OPML文件（下载OPML文件），可供导入到例如feedly等第三方定阅工具中，特别感谢 lcepy 提供自动转换脚本。这里有导入教程。
  • js去除空格，去除左右两端的空格 蕃薯耀 去除左右两端的空格js去掉所有空格js去除空格
    js去除空格，去除左右两端的空格 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>&g
  • SpringMVC4零配置--web.xml hanqunfeng springmvc4
    servlet3.0+规范后，允许servlet，filter，listener不必声明在web.xml中，而是以硬编码的方式存在，实现容器的零配置。 ServletContainerInitializer：启动容器时负责加载相关配置 package javax.servlet; import java.util.Set; public interface ServletContainer
  • 《开源框架那些事儿21》：巧借力与借巧力 j2eetop 框架UI
    同样做前端UI，为什么有人花了一点力气，就可以做好？而有的人费尽全力，仍然错误百出？我们可以先看看几个故事。 故事1：巧借力，乌鸦也可以吃核桃 有一个盛产核桃的村子，每年秋末冬初，成群的乌鸦总会来到这里，到果园里捡拾那些被果农们遗落的核桃。 核桃仁虽然美味，但是外壳那么坚硬，乌鸦怎么才能吃到呢？原来乌鸦先把核桃叼起，然后飞到高高的树枝上，再将核桃摔下去，核桃落到坚硬的地面上，被撞破了，于是，
  • JQuery EasyUI 验证扩展 可怜的猫 jqueryeasyui验证
      最近项目中用到了前端框架-- EasyUI，在做校验的时候会涉及到很多需要自定义的内容，现把常用的验证方式总结出来，留待后用。   以下内容只需要在公用js中添加即可。   使用类似于如下： <input class="easyui-textbox" name="mobile" id="mobile&
  • 架构师之httpurlconnection----------读取和发送(流读取效率通用类) nannan408
    1.前言.    如题. 2.代码. /* * Copyright (c) 2015, S.F. Express Inc. All rights reserved. */ package com.test.test.test.send; import java.io.IOException; import java.io.InputStream
  • Jquery性能优化 r361251 JavaScriptjquery
    一、注意定义jQuery变量的时候添加var关键字 这个不仅仅是jQuery，所有javascript开发过程中，都需要注意，请一定不要定义成如下： $loading = $('#loading'); //这个是全局定义，不知道哪里位置倒霉引用了相同的变量名，就会郁闷至死的 二、请使用一个var来定义变量 如果你使用多个变量的话，请如下方式定义： . 代码如下: var page
  • 在eclipse项目中使用maven管理依赖 tjj006 eclipsemaven
    概览: 如何导入maven项目至eclipse中 建立自有Maven  Java类库服务器 建立符合maven代码库标准的自定义类库 Maven在管理Java类库方面有巨大的优势，像白衣所说就是非常“环保”。 我们平时用IDE开发都是把所需要的类库一股脑的全丢到项目目录下，然后全部添加到ide的构建路径中，如果用了SVN/CVS，这样会很容易就 把
  • 中国天气网省市级联页面 x125858805 级联
    1、页面及级联js <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> &l
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他