实现一个类似于云盘的功能来备份客户端的文件,服务器根据客户端的请求进行处理,并根据热点管理进行压缩存储,客户端也可以自行下载文件,且服务器端支持通过浏览器进行查看与下载以及断点续传功能。
linux,VS019,高版本g++ jsoncpp httplib和bundle库的安装
使用httplib库进行http服务器的搭建,我们更关注服务器的业务处理。
使用bundle库进行压缩解压缩存储
使用jsoncpp库对于内存中的文件进行持久化存储到我们的磁盘中
客户端部署在我们的Windows上实现针对客户端主机上的指定文件夹的文件,自动进行监测判断是否需要备份,需要则上传到服务器备份处理。
分为三个部分:目录检测、数据管理以及网络通信模块
采用C++17的filesystem遍历指定目录,判断是否需要备份。
使用httplib库搭建服务器将需要备份的文件以及备份信息上传到服务器上
记录客户端的历史备份信息,能够让我们根据历史备份信息确定客户端某个文件需要上传备份
文件需要备份的种类:
1.没有历史备份信息,表示他是一个新增文件
2.具有历史备份信息,但是当前文件被修改过了
只需要管理文件路径名和文件唯一标识符ETag。
管理的结构:
1.内存中使用查询效率更高的哈希表存储
2.持久化存储使用文件(以key-value形式存储备份信息)。
具体操作有插入,更新,删除,检索一个文件,检索所有文件。
服务端部署在我们的linux服务器上实现针对客户端请求的业务进行处理。
分为四个部分:网络通信模块、热点管理模块、业务处理模块以及数据管理。
在这部分我使用httplib库搭建http服务器,我们更加关注的是对于客户端请求的处理,比如上传,查看页面,下载。自定义我们服务端的业务处理。
功能:对备份目录下的文件进行监测,如果文件的最近一次访问时间超过了热点时间(30秒内),如果超过了就表示这是一个非热点文件,进行压缩,压缩成功之后,通过数据管理模块对文件修改备份信息,压缩标识修改为已压缩。
实现:
1.遍历文件备份目录-得到源文件存储路径,获取目录下的所有文件的实际路径名
2.遍历所有文件名,通过文件路径名获取文件的最后一次访问时间
3.获取系统当前时间,与文件最后一次访问时间进行相减,判断如果大于热点判断时间,则判断文件为非热点文件,进行压缩。
4.压缩完毕后,进行修改备份信息
功能:
文件信息通过结构体来保存,将多个文件信息放入到哈希表里组织管理使用unordered_map
在网络通信模块基础上进行针对客户端的操作。
当下载一个文件的时候,下载到一半,因为网络或者其他原因导致下载中断,下次下载如果需要重传,那么效率就会很低,因此我们需要实现一个断点续传功能,从上次下载断开的位置重新下载,提高效率;
实现原理:有一端能够记录自己的传输的位置,也就是客户端记录自己已经下载的数据长度和位置,当中途下载中断,以后再次请求时,将自己所需要的指定文件的区间范围发送给服务器,服务器根据指定区间文件的数据进行返回。
支持断点续传的http
响应字段状态响应码:206 Partial Content 部分响应,整体传输使用200;
Content-Range:bytes 200-1000/67543:文件从200偏移开始到1000位置的数据
ETag:文件唯一标识符
通过ETag字段判断续传还是重传。如果请求中的if-range字段的etag信息和文件当前计算得到的信息不一致,则表示文件已经修改过,则响应200,重新从头传输
使用httplib搭建服务器,使用到json序列化,C++17的文件管理,压缩解压缩,线程池和断点续传。数据管理模块使用哈希管理内存中数据,信息使用文件的json序列化实现信息持久化存储。
检索服务器上的备份文件,判断文件是否是热点文件,对非热点文件进行压缩存储,减少开销。
服务器的业务处理,根据客户端业务请求自定义进行业务处理。
没有一个好看的前端界面。
实现用户管理,每位客户一个文件夹。
客户端限速,收费再放开(类似网盘的“吃相”)