业务场景实战(八)处理亿级数据的定时任务

思维导图

思维导图.png

---

系列总目录

• 业务场景实战汇总

---

背景

• 用户会员系统，用户会有分数流水，每个月要做一次分数统计，对不同分数等级的会员做不同业务处理

---

特性

• 假设用户在100w级别，假设用户日均1条流水，也就是说日增流水数据量在100W级别，月新增流水在3kW级别，3个月流水数据量在亿级别

---

解决方案

常见解决方案

• 一个月执行一次的定时任务，数据量太大，即使用多线程处理不同批次数据，数据库也扛不住

mq发送消息到积分系统

• 用户操作执行完之后，发送mq到积分系统实时记录数据
• mq跟业务操作可能会导致不一致性

DTS监听用户操作

• DTS监听mysql，有操作变更时，变更积分

结合mq和DTS

• 结合mq和DTS，双重校验保证数据一致性

---

参考文章

• 处理亿级数据的“定时任务”，如何缩短执行时间？