gnez-dd
gnez-dd

FastDFS分布式文件系统

FastDFS分布式文件系统

FastDFS是由国人开发的针对中小文件存储的轻量级分布式文件系统，使用C语言进行开发，效率高、跨平台，可以在类UNIX系统上很好运行。整体设计以简单高效为原则，具有冗余备份、负载均衡、在线扩容等性能。

FastDFS 的 Tracker 和 Storage 都内置了 http 协议的支持，客户端可以通过 http 协议来下载文件，Tracker 在接收到请求时，通过 http 的 redirect 机制将请求重定 向至文件所在的 Storage 上，除了内置的 http 协议外，FastDFS 还提供了通过 apache 或 nginx 扩展模块下载文件的支持。

三大特色

轻量级

  • 只有三个角色就可以完成数据的存取
  • 不记录文件元信息，通过文件名定位文件减少内存占用

分组方式

FaSlDFS采用了分组存储方式。一个组由一台或多台存储服务器组成，同组内的多台storage之间是互备关系，文件上传、下载、删除等操作可以在组内任意一台storage上进行

优点：灵活（可以自由增删Storage扩展服务能力）、高可用

对等结构

传统的Master-Slave结构中的M是单点，写操作仅针对Master，如果Master失效需要将Slave提升为Master，实现逻辑会比较复杂

FastDFS集群中的Tracker可以有多台，Tracker和Storage都不存在单点问题，Tracker之间是对等关系，组内的Storage也是对等关系

系统架构

FastDFS由三个部分组成：跟踪服务器Tracker Server、存储服务器Storage Server、客户端Client

FastDFS分布式文件系统_第1张图片

存储服务器Storage Server

功能：负责文件的存储和冗余备份

组织方式：

  • FastDFS采用分组方式将Storage集群以分组为单位进行划分，各个组之间互相独立，可以起到负载均衡、应用隔离和副本数定制的作用
  • 同组内可以有多台存储服务器，之间互为备份，同组的Storage之间相互连接进行文件同步

一个分组的存储容量以该组内存储容量最小的那个 Storage 为准，Storage 集群的总存储容量为集群所有分组的存储容量之和

在系统容量不足时，可通过增加 Group 来实现横向扩容，当一个分组内的 Storage 访问压力过大时，可通过在 组内增加 Storage 实现纵向扩容

数据存放形式：

  • Storage存储文件依赖于本地文件系统
  • 第一次启动时会在每个数据存储目录下创建两级子目录，每一级256个，共65536个目录，新写的文件会以哈希方式被存储到某个子目录下
    • 避免单个目录下文件数太多
    • 通过目录加快查询速度（类似索引）

跟踪服务器Tracker Server

功能：负责Storage的管理和调度，接受客户端的请求并选择合适的Storage进行操作（类似中间人）

组织方式：多台Tracker组成Tracker集群，起到负载均衡作用，Tracker之间是对等的关系

工作方式：每个Storage启动后会创建多个线程并主动连接集群中所有的Tracker，向其报告自身的状态信息（所属的Group、磁盘剩余空间、文件同步状况、文件上传下载次数等），并保持周期性心跳。Tracker收到信息后保存在内存中，并根据Storage的心跳信息建立Group到组内的Storage的映射表

Tracker不记录文件所有信息，需要管理的元信息很少，使得Tracker容易扩展为Tracker-Cluster提供服务

其他分布式文件系统如HDFS将大文件切分为多个文件，需要有服务器记录文件的元信息，不适合保存小文件；但是FastDFS是非常适合保存中小文件的，同时FastDFS对小文件存储有自己的一套机制，后面会讲到

客户端Client

作为业务请求的发起方通过FastDFS提供的文件访问接口与Tracker或Storage进行通信

网络IO模型

FastDFS由三种线程组成：accept线程、work线程、dio线程

FastDFS分布式文件系统_第2张图片

accept线程

功能：接受新连接

工作方式：通过accept接受新连接后从task对象池中取出一个task对象，使用客户端信息封装task对象，通过轮询方式发送给对应的work线程

通信方式：work线程会通过epoll监听管道的文件描述符，accept线程向管道中写入task对象的地址唤醒work线程处理新连接

work线程

功能：处理网络IO事件

工作方式：通过epoll监听文件描述符并根据epoll返回的文件描述符调用相应的事件处理函数

  • 新连接事件：接受新连接并在epoll中注册新连接的可读事件并进行监听
  • 可读事件：获取数据并将数据封装为任务添加到任务队列中同时通过条件变量唤醒dio线程处理任务
  • 可写事件：将用户缓冲区中的内容发送出去

dio线程

功能：从任务队列中取出任务进行磁盘的读写操作

工作方式：任务队列为空时会阻塞，当有任务到来时会被唤醒去任务队列中读取任务并执行

不从epoll检测网络IO事件主要是为了将功能解耦，让work线程处理网络IO，dio线程处理文件IO

协议格式

协议由包头Header和包体Body组成

包头Header

  • pkg_len：8字节，记录body的长度
  • cmd：1字节，记录操作对应的命令
  • status：1字节，记录响应的状态码

文件上传

文件上传机制

FastDFS分布式文件系统_第3张图片

  • 发送请求：客户端向集群中任意一台Tracker Server发起TCP连接，连接建立后客户端向Tracker发送上传请求报文
  • 查询可用的Storage：Tracker收到客户端的上传文件请求后根据策略选择合适的Storage返回给客户端
    • 选择Group：轮询、指定某一个Group、选择最大剩余空间的Group
    • 选择Storage：轮询、按IP排序、按优先级
  • 上传文件：客户端收到Storage信息后就会向对应的Storage发起TCP连接，连接建立后开始上传文件；首先会发送一个报文告知文件大小，然后再将文件发送给Storage
  • 选择存储路径：Storage收到客户端上传文件请求后会根据配置为文件分配一个数据存储目录
    • 轮询、剩余存储空间最大的优先
  • 生成文件名：Storage为文件生成一个文件名，由Storage Server IP、文件创建时间、文件大小、文件crc32、随机数拼接而成，然后再将整个二进制串进行Bae64编码转换为可打印的字符串
    • 随机数主要是为了避免出现相同的文件名
  • 选择两级目录：Storage对FileId进行两次Hash选择文件存储的子目录
  • 生成文件名：当文件被存储到某个子目录后认为文件存储成功，接下来Storage会为该文件生成一个FileId：分组名/存储目录/一级子目录/二级子目录/文件名.后缀名
  • 上传成功返回访问路径：Storage将文件写入磁盘后向客户端返回文件的FileId

文件名机制

文件名：Storage Server IP、文件创建时间、文件大小、文件crc32、随机数拼接而成，然后再将整个二进制串进行Bae64编码转换为可打印的字符串

FileID：分组名/存储目录/一级子目录/二级子目录/文件名.后缀名

FastDFS 通过精巧的文件名机制将文件元信息隐藏在文件名中，使 FastDFS 能直接定位文件的存储位置，从而加快文件的存取速度以及避免服务器存储文件元信息占据内存

FastDFS分布式文件系统_第4张图片

文件下载

文件下载机制

FastDFS分布式文件系统_第5张图片

  • 发送请求：客户端向集群中任意一台Tracker Server发起TCP连接，连接建立后客户端向Tracker发送下载请求报文，报文中携带文件的FileId信息
  • 查询可用的Storage：Tracker收到客户端下载请求后从FileId中解析出文件所属的Group，在Group中选择一台可用的Storage将其IP地址和端口号发送给客户端
    • 文件上传到的源头Storage（只要源Storage存在肯定就包含该文件）
    • 文件创建时间戳 == Storage被同步到的时间戳，且当前时间-文件创建时间戳 > 文件同步最大时间（文件创建后认为经过最大同步时间后肯定已同步到其他Storage中）
    • 文件创建时间 < Storage被同步到的时间戳 （同步时间戳之前的文件确定已经同步了）
    • 当前时间 - 文件创建时间戳 > 同步延迟阈值 （经过同步延迟阈值时间认为文件肯定已经同步了）
  • 下载文件：客户端收到Storage信息后向Storage发送连接请求，连接建立后Storage根据FileId解析出文件路径找到文件并从磁盘读取后返回给客户端

FastDFS下载改进

FastDFS的下载使用单线程下载，由于FastDFS提供的文件下载API接口可以指定下载文件的偏移量以及下载块的大小，对于下载比较大的文件时， 就可以将 FastDFS 采用的单线程从某个存储服务器上下载，改进成为多个线程从服务器上下载，减少文件下载的时间

采用多个线程去分别下载文件的某一部分， 各个线程下载完成后，再根据各自的偏移量和块大小存放到一个文件中，当下载完成之后完成文件的合并

文件同步

Storage启动时会根据配置文件中Tracker数量，创建相同数目的上报线程与Tracker通信，通过心跳机制向Tracker报告自身的状态信息（所属的Group、磁盘剩余空间、文件同步状况、文件上传下载次数等）

Tracker收到上报信息后以链表形式保存分组和分组内Storage的状态信息

Storage通过与Tracker获取同组内其他Storage的信息并与其建立连接，同组内的Storage通过push方式进行文件同步

同步相关文件

binlog文件

每个Storage写文件后会同时写一份binlog

由一条条binlog记录组成，不包含文件数据，只记录文件名等元信息，每一条记录包含三个字段：文件上传时间戳、文件操作类型（源创建、副本创建、源删除、副本删除等等）、文件ID

操作类型使用单个字母进行编码，源头操作使用大写字母表示，副本操作使用小写字母表示，避免循环复制

mark文件

记录本机到组内其他Storage同步状态

binlog_index：本机最近一次同步给组内目标Storage的binlog文件索引（因为binlog文件大小有限制，所以有多个binlog文件）

binlog_offset：本机最近一次同步给组内目标Storage的最后一条binlog偏移量

Storage之间通过binlog文件进行同步，将每次同步完的索引信息记录在对应的mark文件中，下次同步时只需从mark文件记录的操作之后进行即可

同步规则

  • 只在本组内的Storage之间进行同步
  • 源头数据才需要同步，备份数据不需要同步，通过操作类型的大小写字母判断需不需要同步
  • 当新增一台storage是由已有的一台storage将已有的数据（源头和备份）同步给新增服务器

同步机制

增量同步

组内的每个Storage之间都会有一个同步线程进行文件同步

FastDFS分布式文件系统_第6张图片

  • 同步线程读取目标Storage对应的mark文件，从mark文件中获取与目标Storage最近一次同步的binlog文件索引和偏移量
  • 源Storage打开对应的binlog文件并定位到偏移量指定的位置开始同步文件，同步成功后修改mark文件的binlog_offset字段
  • 源Storage向Tracker发送同步时间戳，向Tracker汇报此时间戳之前的所有同步操作已完成

FastDFS的Binlog增量同步是一种异步同步机制，是弱一致性系统，会到来文件同步延迟问题与文件丢失问题

  • 同步延迟问题：FastDFS通过指定源服务器或根据同步时间戳等机制将请求分发到源Storage或已完成同步的服务器上解决
  • 文件丢失问题：可以采用半异步机制，当大部分的Storage同步完成才算文件上传成功

源同步（新增节点的同步）

FastDFS分布式文件系统_第7张图片

  • 当Group中新增一台Storage时，新Storage会先与Tracker建立连接进行通信
  • Tracker收到后会将新Storage状态设置为同步等待状态（WAIT_SYNING），然后将组内Storage列表返回给新Storage，同时将新的Storage列表返回给组内原有的Storage
  • 新Storage向Tracker请求同步的源Storage地址，Tracker将源Storage信息返回给新Storage
  • 组内其他Storage得知有新Storage加入后会向Tracker查询源Storage信息，并将自己的信息与源Storage信息对比，如果发现自己是源Storage则将新Storage状态设置为正在同步状态（SYNING），并将数据同步到新Storage上
  • 当源同步完成之后将新Storage状态设置为离线状态（OFFLINE）并向Tracker返回源同步成功，由Tracker将新Storage状态设置为ACTIVE，即新Storage已完成同步可以对外提供服务

Storage的最后最早被同步时间

记录每台storage最后一次同步给自己的时间戳中的最小个，用于判断某个文件是否存在storage上

FastDFS分布式文件系统_第8张图片

storage会定期将该值传递给tracker，tracker根据该值就可以判断文件是否存在对应的storage上，是否可以从对应的storage上去下载

注意：FastDFS是通过比较时间戳判断文件是否同步完成，因此集群中的服务器时间要保持一致

如何解决数据一致性问题

FastDFS是采用异步同步机制，是弱一致性，保证最终一致性

如何避免数据顺序不一致

对appender文件的修改以及对文件的删除只能在源storage server上进行

FastDFS为了支持文件修改，引入了appender这一文件类型。FastDFS支持对appender类型的文件进行修改和追加等操作。如果在两台storage server上修改同一个appender文件（即使在顺序修改的情况下），可能就会因为时序问题导致数据不一致的现象发生

如何避免读取到不完整数据

先写文件再改名：

FastDFS直接借助底层文件系统来存储和管理文件。在文件复制过程中，为了避免应用端读到不完整的数据，storage server采用先写临时文件，完成后再改名的做法

为了保证数据完整性以及在异常情况下不覆盖上个版本的数据，tracker server和storage server写入重要的数据文件时，均采用了先写临时文件，然后改名的做法

FastDFS负载均衡算法

FastDFS已有的负载均衡算法

负载均衡算法

FastDFS将上传文件任务的调度分成两个步骤：

  1. 分组的选择：轮转、手动选择、选择分组中存储空间剩余最大的组
  2. 组内Storage的选择：轮转、按照IP排序的第一个Storage、按照优先级排序的第一个Storage

Tracker能否将任务合理调度到Storage上对于整个系统的性能有很大的影响（Storage的运行状态、CPU等）

下载文件任务不需要进行分组的选择，只需要对组内的Storage进行选择，主要有两种调度算法：轮转、当前文件上传时的源Storage

FastDFS将组分为可用分组和可存储分组：

  • 可用分组
    • 分组中有处于活跃状态的Storage
    • 组内的Storage的剩余空间不小于某个值
  • 可存储分组
    • 在可用分组的基础上增加了存储空间使用率，不能超过规定的比值

FastDFS的负载均衡算法思想时最大剩余空间算法：当任务到达Tracker时会遍历分组链表，在可用分组中寻找剩余空间最大的分组，然后检查分组的空间使用率是否超过规定的值，如果不超过则将任务调度到该分组中（该算法与存储空间有关，剩余空间越大就越有可能被选中）

不足

分组的选择依据只有磁盘剩余空间一个因素

当有上传任务请求到达时磁盘剩余空间越大的分组被调度的可能性越大，分组中分配的任务数量越多处于忙碌状态，可能会导致其他上传任务在Storage中等待被执行，而其他分组处于空闲状态

同时Storage的性能不同，处理请求所需的时间也不同，FastDFS的负载均衡算法没有考虑到Storage的CPU、内存、磁盘IO等多种因素

FastDFS负载均衡算法的改进

算法思想

分组的选择：

在原FastDFS负载均衡算法的基础上增加新的参数因子：任务使用率，任务使用率 = 已分配的任务数量 / 最大任务数量的比值

分组的负载由磁盘使用率和任务 使用率共同决定，显然，磁盘使用率越低，任务连接数量越少的分组其负载越小， 那么该分组被选中的概率越大

分组的负载由组内各个Storage负载累积而成，也就是将各个存储服务器的磁盘使用率与任务使用率的乘积累加

Storage的选择：

考虑Storage的性能和服务器的负载情况，由多个因素共同决定：CPU、内存、磁盘IO以及网络等，采用线性加权法，每个指标对应一个权重系数，权重系数组成一个权向量，然后通过层次分析法计算出权向量并定义指标函数

但是会增加算法的开销，考虑存储服务器是 IO 密集型的，受到磁盘 IO 以及网络 IO 影响较大，而同组内的存储服务器一般处于相同网段，所以在比较相对性能时，只比较磁盘 IO，减小算法开销

算法指标的获取

  • 任务使用率的获取
    • Storage上已分配的任务数量：存储服务器默认在 23000 端口工作，通过netstat 命令的可以显示网络连接、 路由表以及网络接口等信息，查询在 23000 端口已经建立的连接并进行统计就可以获取存储服务器上已经连接的任务数量
    • Storage最大任务数：从配置文件 storage.conf 读取
  • 磁盘读写性能的获取
    • hdparm可用于显示磁盘相关信息，可以测试磁盘速度
  • 磁盘使用率的获取
    • 使用结构体 struct statfs，然后利用函数 statfs 查询文件系统的信息，根据 f_blocks 和 f_bavail 字段获取磁盘总空间和剩余空间，然后将其保存到内存中

在Storage的实现

FastDFS分布式文件系统_第9张图片

Storage通过命令和函数获取相关参数，并通过心跳机制向Tracker进行汇报

在Tracker的实现

FastDFS分布式文件系统_第10张图片

Tracker将Storage上报信息保存在分组链表中，并通过算法定义计算动态负载均衡算法所需的各个变量的大小，进而完成算法的调度

算法测试

实验分5组进行，每组上传不同数量的文件，文件大小10M，每组完成不同数量任务的上传

测试结果：当任务数量在处于较低时，动态负载均衡算法的响应时间提升不大，这说明在任务数量较低时两种算法性能相当，当任务数量超过 500 时，任务数量所起的作用增大，动态负载均衡的算法作用明显，响应时间大约降低了 10%

海量小文件LSOF

通常我们认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量，由此量化定义海量小文件问题

问题

  • 浪费空间：Linux通过inode存储文件信息，会消耗硬盘空间，当磁盘格式化时操作系统会将磁盘划分为两个区域：数据区和inode区。每个inode节点大小一般是128字节或256字节，inode节点总数在格式化时给定，一般是1kb或2kb设置一个inode，也就是说一个文件至少占用1kb或2kb，那么如果有大量小于1kb的文件就会导致大量的磁盘空间被浪费（磁盘利用率可能<50%）
  • 大量的小文件也会导致在增加删除查找文件时需要遍历过多的inode节点：Linux下文件的访问需要经过目录项、inode、data，文件系统通常采用Hash树、 B+树或B*树来组织和索引目录，这种方法不能在数以亿计的大目录中很好的扩展，海量目录下检索效率会明显下降。正是由于单个目录元数据组织能力的低效，文件系统使用者通常被鼓励把文件分散在多层次的目录中以提高性能。然而，这种方法会进一步加大路径查询的开销

FastDFS对小文件的处理

FastDFS对小文件采用合并的方式，可以在tracker.conf中将usr_trunk_file设置为true，当文件大小小于slot_max_size时将触发小文件存储机制

合并后的文件命名和源文件命名

合并存储后一个fileId对应的大文件中是由多个小文件组成

将合并存储后的大文件称为Trunk文件，没有合并存储的文件称为源文件

Trunk文件命名：fdfs_storage1/data/00/00/000001 ⽂件名从1开始递增，类型为int

源文件命名：文件存储的fileId需要记录保存的大文件id以及偏移量，由源Storage IP、文件创建时间戳、文件大小、crc32、trunk file ID（Trunk的ID）、offset（在Trunk文件中的偏移、量）、alloc_size（分配空间）、随机数

Trunk文件存储结构

磁盘数据内部结构

Trunk内部由多个小文件组成，每个小文件都会有一个TrunkHeader以及紧跟在后面的真实数据

Trunk文件默认为64MB

小文件存储平衡树

在Storage内部会为每个存储路径构造一颗以空闲块大小作为关键字的空闲平衡树，相同大小的空闲块保存在链表中

每当需要存储一个文件时首先到空闲平衡树中查找大于并最接近的空闲块，然后将该空闲块从中分割出多余的部分作为新的空闲块加入平衡树中

如果查找不到满足的则创建一个新的trunk文件并加入到平衡树中，再执行上面的查找操作

断点续传

FastDFS对于上传和下载都支持断点续传

上传文件

需要先上传appender类型文件，再使用append方法

上传大文件时可以采用append方式多次上传

还可以采用多线程上传1加快上传速度：

  • 上传appender类型文件
  • 调用truncate方法将改appender文件设置为最终文件大小
  • 调用modify方法并发上传文件分片

下载文件

FastDFS可以指定文件偏移量和获取文件内容大小实现断点续传与多线程下载
MB

小文件存储平衡树

在Storage内部会为每个存储路径构造一颗以空闲块大小作为关键字的空闲平衡树，相同大小的空闲块保存在链表中

每当需要存储一个文件时首先到空闲平衡树中查找大于并最接近的空闲块，然后将该空闲块从中分割出多余的部分作为新的空闲块加入平衡树中

如果查找不到满足的则创建一个新的trunk文件并加入到平衡树中，再执行上面的查找操作

断点续传

FastDFS对于上传和下载都支持断点续传

上传文件

需要先上传appender类型文件，再使用append方法

上传大文件时可以采用append方式多次上传

还可以采用多线程上传1加快上传速度：

  • 上传appender类型文件
  • 调用truncate方法将改appender文件设置为最终文件大小
  • 调用modify方法并发上传文件分片

下载文件

FastDFS可以指定文件偏移量和获取文件内容大小实现断点续传与多线程下载

你可能感兴趣的:(服务器)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • swagger访问路径 igotyback swagger
    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
  • 高级编程--XML+socket练习题 masa010 java开发语言
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Linux查看服务器日志 TPBoreas 运维linux运维
    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
  • Python多线程实现大规模数据集高效转移 sand&wich 网络python服务器
    背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 最简单将静态网页挂载到服务器上(不用nginx) 全能全知者 服务器nginx运维前端html笔记
    最简单将静态网页挂载到服务器上(不用nginx)如果随便弄个静态网页挂在服务器都要用nignx就太麻烦了，所以直接使用Apache来搭建一些简单前端静态网页会相对方便很多检查Web服务器服务状态：sudosystemctlstatushttpd#ApacheWeb服务器如果发现没有安装web服务器：安装Apache：sudoyuminstallhttpd启动Apache：sudosystemctl
  • 阿里云服务器4核8G配置购买及价格类文章汇总（10篇） 阿里云最新优惠和活动汇总
    阿里云服务器4核8G配置如何购买？价格是多少？4核8G配置的阿里云服务器可以通过云服务器产品页购买也可以通过阿里云活动去下单购买，一般通过活动购买的用户比较多，但是不同实例规格的阿里云服务器价格不一样，带宽不同价格也不一样，本文为大家汇总了10篇关于阿里云服务器4核8G配置购买教程文章和价格类文章，分为购买类文章和价格类文章，以供大家参考如何购买阿里云服务器4核8G配置和最新优惠价格是多少。阿里云
  • windows下python opencv ffmpeg读取摄像头实现rtsp推流 拉流 图像处理大大大大大牛啊 opencv实战代码讲解视觉图像项目windowspythonopencv
    windows下pythonopencvffmpeg读取摄像头实现rtsp推流拉流整体流程1.下载所需文件1.1下载rtsp推流服务器1.2下载ffmpeg2.开启RTSP服务器3.opencv读取摄像头并调用ffmpeg进行推流4.opencv进行拉流5.opencv异步拉流整体流程1.下载所需文件1.1下载rtsp推流服务器下载RTSP服务器下载页面https://github.com/blu
  • NPM私库搭建-verdaccio（Linux） Beam007 npmlinux前端
    1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
  • [实验室服务器使用]使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器 YuanDaima2048 工具使用服务器vscodepycharmcmd代理模式机器学习实验
    文章总览：YuanDaiMa2048博客文章总览实验室服务器使用：使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器在进行实验室工作时，远程连接服务器是常见的需求之一。本篇文章根据个人的一些使用介绍使用不同工具连接服务器的方法，并提供优化功能，使服务器能够使用本机代理的说明。准备服务器账号信息Host（主机）:10.XXX.XX.XXXPort（端口）:[SSHPort]U
  • L1 L2 L3 缓存 京天不下雨 windows缓存windows
    L1L2L3缓存L1Cache(一级bai缓存)是CPU第一层高速缓存，分为数据缓存和指令缓存。du内置的zhiL1高速缓存的容量和结构对daoCPU的性能影响较大，不过高速缓冲存储器均由静态RAM组成，结构较复杂，在CPU管芯面积不能太大的情况下，L1级高速缓存的容量不可能做得太大。一般服务器CPU的L1缓存的容量通常在32—4096KB。L2由于L1级高速缓存容量的限制，为了再次提高CPU的运
  • golang实现从服务器下载文件到本地指定目录 余生逆风飞翔 golang服务器开发语言
    一、连接服务器，采用sftp连接模式packagemiddlewaresimport("fmt""time""github.com/pkg/sftp""golang.org/x/crypto/ssh")//建立服务器连接funcConnect(user,password,hoststring,portint)(*sftp.Client,error){var(auth[]ssh.AuthMethod
  • 鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构nginx服务器
    最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
  • Nginx之代理模块 ngx_http_proxy_module 途径日暮不赏丶 nginxnginx
    正向代理正向代理是指位于客户机（A）和站点服务器（B）之间的代理服务器（C），为了从站点服务器（B）获取资源，客户机（A）向代理服务器（C）发送请求并指定站点服务器（B），然后代理服务器（C）向站点服务器（B）转交请求并将获取的资源返回给客户机（A）。上述这样的代理模式称为正向代理，正向代理最大的特点：客户端非常明确要访问的服务器地址；服务器只清楚请求来自哪个代理服务器，而不清楚来自哪个具体的客户
  • 导致格式错误的 Lambda 代理响应的原因以及如何修复它 zqhdz米时空 汇编
    当人们尝试使用AWSAPIGateway和AWSLambda构建无服务器应用程序时，经常出现的一个问题是_由于配置错误而执行失败：Lambda代理响应格式错误。_没有什么比通用错误消息更糟糕的了，它们不会告诉您解决问题所需的任何内容，对吧？AWS并不是以其错误消息设计而闻名，如果甚至可以这样称呼它的话，更不用说为您提供解决问题的方法了。那么如何修复这个Lambda错误以及是什么原因造成的呢？花椒壳
  • 网关gateway学习总结 猪猪365 学习总结学习总结
    一微服务概述:微服务网关就是一个系统!通过暴露该微服务的网关系统,方便我们进行相关的鉴权,安全控制,日志的统一处理,易于监控的相关功能!实现微服务网关技术都有哪些呢?1nginx:nginx是一个高性能的http和反向代理web的服务器,同事也提供了IMAP/POP3/SMTP服务.他可以支撑5万并发链接,并且cpu,内存等资源消耗非常的低,运行非常的稳定!2Zuul:Zuul是Netflix公司
  • Nginx之ngx_http_proxy_connect_module模块 小米bb Nginxnginxhttp运维
    近期由于项目需要使用到https正向代理，而nginx官方模块仅支持做http正向代理，一番百度学习后发现了该模块，故今日记录下此笔记供大家一起学习交流ngx_http_proxy_connect_module模块主要用于隧道SSL请求的代理服务器GitHub地址：http://www.github.com/chobits/ngx_http_proxy_connect_modulenginx配置：
  • Nginx：高性能的Web服务器与反向代理 张某布响丸辣 nginx前端服务器javaSpringBoot
    在当今的互联网世界中，Web服务器的选择对于网站的性能、稳定性和安全性至关重要。Nginx（发音为“engineX”）凭借其卓越的性能、丰富的功能集和灵活的配置选项，成为了众多网站和应用程序的首选Web服务器和反向代理。本文将深入探讨Nginx的特点、应用场景、基本配置以及它如何助力你的Web项目。Nginx简介Nginx是一个开源的、高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/
  • Android shell 常用 debug 命令 晨春计 Audiodebugandroidlinux
    目录1、查看版本2、am命令3、pm命令4、dumpsys命令5、sed命令6、log定位查看APK进程号7、log定位使用场景1、查看版本1.1、Android串口终端执行getpropro.build.version.release#获取Android版本uname-a#查看linux内核版本信息uname-r#单独查看内核版本1.2、linux服务器执行lsb_release-a#查看Lin
  • 解决SDK Manager 中 没有 Support Library 木鱼wzh
    1、直接修改SDK-MANAGER打开sdk-manager—->Tools—->options然后点击packages—->showobsoletepackages即可在最下面的Extras目录下找到推荐两个自己使用的镜像服务器：mirrors.neusoft.edu.cn端口80mirrors.dormforce.net端口802、去官网下载SupportLibrar点击这里进入官网进入百度云
  • Nginx从入门到实践(三) 听你讲故事啊
    动静分离动静分离是将网站静态资源（JavaScript，CSS，img等文件）与后台应用分开部署，提高用户访问静态代码的速度，降低对后台应用访问。动静分离的一种做法是将静态资源部署在nginx上，后台项目部署到应用服务器上，根据一定规则静态资源的请求全部请求nginx服务器，达到动静分离的目标。rewrite规则Rewrite规则常见正则表达式Rewrite主要的功能就是实现URL的重写，Ngin
  • Nginx的使用场景：构建高效、可扩展的Web架构 张某布响丸辣 nginx前端架构
    Nginx，作为当今最流行的Web服务器和反向代理软件之一，凭借其高性能、稳定性和灵活性，在众多Web项目中扮演着核心角色。无论是个人博客、中小型网站，还是大型企业级应用，Nginx都能提供强大的支持。本文将探讨Nginx的几个主要使用场景，帮助读者理解如何在实际项目中充分利用Nginx的优势。1.静态文件服务对于包含大量静态文件（如HTML、CSS、JavaScript、图片等）的网站，Ngin
  • 【nginx】ngx_http_proxy_connect_module 正向代理 等风来不如迎风去 网络服务入门与实战nginxhttp运维
    50.65无法访问服务器，(403错误)50.196可以访问服务器。那么，配置65通过196访问。需要一个nginx作为代理【nginx】搭配okhttp配置反向代理发送原生的nginx是不支持okhttp的CONNECT请求的。大神竟然给出了一个java工程GINX编译ngx_http_proxy_connect_module及做正向代理是linux构建的。是windows构建的：编译Windo
  • 第三十一节:Vue路由:前端路由vs后端路由的了解 曹老师
    1.认识前端路由和后端路由前端路由相对于后端路由而言的,在理解前端路由之前先对于路由有一个基本的了解路由:简而言之,就是把信息从原地址传输到目的地的活动对于我们来说路由就是:根据不同的url地址展示不同的页面内容1.1后端路由以前咱们接触比较多的后端路由,当改变url地址时,浏览器会向服务器发送请求,服务器根据这个url,返回不同的资源内容后端路由的特点就是前端每次跳转到不同url地址,都会重新访
  • 非关系型数据库 天秤-white nosql
    一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他