C++项目:云备份

项目简介

实现一个类似于云盘的功能来备份客户端的文件,服务器根据客户端的请求进行处理,并根据热点管理进行压缩存储,客户端也可以自行下载文件,且服务器端支持通过浏览器进行查看与下载以及断点续传功能。

环境配置

linux,VS019,高版本g++ jsoncpp httplib和bundle库的安装

代码:cloudbackup: 云备份项目

工具介绍

使用httplib库进行http服务器的搭建,我们更关注服务器的业务处理。

使用bundle库进行压缩解压缩存储

使用jsoncpp库对于内存中的文件进行持久化存储到我们的磁盘中

项目模块

客户端

客户端部署在我们的Windows上实现针对客户端主机上的指定文件夹的文件,自动进行监测判断是否需要备份,需要则上传到服务器备份处理。

分为三个部分:目录检测、数据管理以及网络通信模块

目录检测模块

采用C++17的filesystem遍历指定目录,判断是否需要备份。

网络通信模块

使用httplib库搭建服务器将需要备份的文件以及备份信息上传到服务器上

数据管理模块

记录客户端的历史备份信息,能够让我们根据历史备份信息确定客户端某个文件需要上传备份

文件需要备份的种类:

1.没有历史备份信息,表示他是一个新增文件

2.具有历史备份信息,但是当前文件被修改过了

只需要管理文件路径名和文件唯一标识符ETag。

管理的结构:

1.内存中使用查询效率更高的哈希表存储

2.持久化存储使用文件(以key-value形式存储备份信息)。

具体操作有插入,更新,删除,检索一个文件,检索所有文件。

服务端

服务端部署在我们的linux服务器上实现针对客户端请求的业务进行处理。

分为四个部分:网络通信模块、热点管理模块、业务处理模块以及数据管理。

网络通信模块

在这部分我使用httplib库搭建http服务器,我们更加关注的是对于客户端请求的处理,比如上传,查看页面,下载。自定义我们服务端的业务处理。

热点管理模块

功能:对备份目录下的文件进行监测,如果文件的最近一次访问时间超过了热点时间(30秒内),如果超过了就表示这是一个非热点文件,进行压缩,压缩成功之后,通过数据管理模块对文件修改备份信息,压缩标识修改为已压缩。

实现:

1.遍历文件备份目录-得到源文件存储路径,获取目录下的所有文件的实际路径名

2.遍历所有文件名,通过文件路径名获取文件的最后一次访问时间

3.获取系统当前时间,与文件最后一次访问时间进行相减,判断如果大于热点判断时间,则判断文件为非热点文件,进行压缩。

4.压缩完毕后,进行修改备份信息

数据管理模块

功能:

文件信息通过结构体来保存,将多个文件信息放入到哈希表里组织管理使用unordered_map;并且使用jsoncpp实现文件的持久化存储。

业务处理模块

在网络通信模块基础上进行针对客户端的操作。

HTTP服务器断点续传

当下载一个文件的时候,下载到一半,因为网络或者其他原因导致下载中断,下次下载如果需要重传,那么效率就会很低,因此我们需要实现一个断点续传功能,从上次下载断开的位置重新下载,提高效率;

实现原理:有一端能够记录自己的传输的位置,也就是客户端记录自己已经下载的数据长度和位置,当中途下载中断,以后再次请求时,将自己所需要的指定文件的区间范围发送给服务器,服务器根据指定区间文件的数据进行返回。

支持断点续传的http

响应字段状态响应码:206 Partial Content  部分响应,整体传输使用200;

Content-Range:bytes 200-1000/67543:文件从200偏移开始到1000位置的数据

ETag:文件唯一标识符

通过ETag字段判断续传还是重传。如果请求中的if-range字段的etag信息和文件当前计算得到的信息不一致,则表示文件已经修改过,则响应200,重新从头传输

项目特点

使用httplib搭建服务器,使用到json序列化,C++17的文件管理,压缩解压缩,线程池和断点续传。数据管理模块使用哈希管理内存中数据,信息使用文件的json序列化实现信息持久化存储。

检索服务器上的备份文件,判断文件是否是热点文件,对非热点文件进行压缩存储,减少开销。

服务器的业务处理,根据客户端业务请求自定义进行业务处理。

项目需要改进的问题

没有一个好看的前端界面。

实现用户管理,每位客户一个文件夹。

客户端限速,收费再放开(类似网盘的“吃相”)

你可能感兴趣的:(其他,服务器,运维)