大数据量业务订制和解决方案思考

大数据量的系统要经过对数据的用处分析和数据周期分析，以寻求更好的解决方案。

1：业务系统的基础数据，如人员基础信息（基础资料，权限等）
.数据可以KEEP在内存中.数据要分散存储.基础数据逻辑要简洁.使用增量更新.高峰期来临前提前更新基础数据

2：热数据处理
此部分数据是各方面环境会频繁使用到的数据 对这部分数据的存储，比如 使用不一样的存储方式，比如建立高效的索引，使用SSD盘，或者使用mysql数据库存储

3：历史数据的迁移

近期数据 此类数据是需要最近频繁使用或者调用的数据，对OLTP系统而言此类数据是核心数据。
历史数据 此类数据主要做历史数据查询或者历史分析数据，建议迁移出OLTP系统数据库

4：报表数据的存储
对报表数据进行数据转换，从原始数据，转化到订制数据，再清理 成报表数据

5：数据库业务拆分 多表数据存储
将核心业务表进行拆分，既能提高数据库的性能，还能提高数据的安全

6：索引数据的存储
无效索引的删除与索引的定期重建 和SSD盘的引入等处理

数据流转

数据中心
订制小数据中心 围绕中心数据库

 

数据分发机制
按区域城市等进行数据分发

 

中心数据入库后的流转

MYSQL:查询类系统：如网站的查询

多套ORACLE:多用途系统：如备份、物流监控，报表等

ORACLE:核心业务系统：信息流、物流、资金流全流程控制系统

大数据分析系统：对历史数据或者大数据进行分析。