自研mysql和redis同步框架Diamond

框架结构简介

gitee地址

介绍

Simple and practical redis and mysql data synchronization framework.
简单实用的redis和mysql的数据同步框架

架构

整体架构

详细架构：

逻辑分层：

组件pipeline:

本着不重复造轮子的原则，该框架借鉴了前辈们架构思想和组件。

• 拦截
  基于aop的将需要同步的方法进行拦截
• 代理层
  代理数据源、代理连接、代理sql执行器，通过代理的方式对我们的DML语句进行拦截。
• 任务分发层
  将拦截的任务通过disruptor进行分发给消费者进行处理。
• 数据处理管道
  一个数据流管道类似于NIO的pipeline，对前面从disruptor中获取到的任务进行解析,解析完成之后投递到阻塞队列中。
• 阻塞队列数据和redis同步
  采用线程池获取任务的形式，从阻塞队列中阻塞获取任务，将已经解析好的redis数据同步到指定的redis中。

样例展示

redis key
采用数据库名称_表名称_主键的形式 如：dm_pay:payment_channe:10

redis value
采用全量表字段json形式：
{
“CREATED_BY”: “NULL”,
“REVISION”: “NULL”,
“CHANNEL_ID”: “ali_pay”,
“CREATED_TIME”: “NULL”,
“UPDATED_TIME”: “NULL”,
“class_ADDRES”: “com.zy.pay.strategy.impl.AliPay”,
“compensation_bean_id”: “NULL”,
“PUBLIC_KEY”: “NULL”,
“PRIVATE_KEY”: “NULL”,
“SYNC_URL”: “http://localhost:8080/ACPSample_B2C/frontRcvResponse”,
“CHANNEL_NAME”: “阿里支付”,
“UPDATED_BY”: “NULL”,
“CHANNEL_STATE”: “0”,
“ID”: “10”,
“MERCHANT_ID”: “777290058168777”,
“ASYN_URL”: “http://222.222.222.222:8080/ACPSample_B2C/backRcvResponse”
}
样例使用的是自动增长字段自动生成的ID。

使用说明

1. 配置redis连接这是必不可少的
   dm.config.redis-address: redis://127.0.0.1:6379
2. 配置我们需要同步的表
   dm.config.async-tables: user,t_order_1
3. 给需要同步的方法加上注解
   @EnableDmAsync

详细可以参见sample项目

规划展望

未来可能将会加入mq将服务解耦出来，适应那些任务量大的需求，减轻对我们业务逻辑的影响。