大量数据存储查询解决方案

一、整体架构优化

1.主要思路就是将功能从系统中拆出来（如图）
2.建立独立的数据库和redis缓存，该数据库和redis缓存只负责内部调用，不对外开放
3.代码解耦方面，使用MQ对项目代码进行解耦
4.框架选用swoole+swoft,swoft支持通用连接池 Mysql、Redis、RPC

二、业务优化

1.当前系统不需要大改，兼容现在的业务
2.逻辑方面，文件数据新增、修改、删除建立消息队列，将数据同步到数据持久层（如图）；一级 redis缓存直接面向用户，当一级redis缓存有数据丢失时，立即调用持久层二级redis数据；同样二级redis 数据丢失时，可以使用二级DB恢复数据
3.定时校验业务层和数据持久层的数据