MySQL同步ES的几种方案

MySQL数据同步ES的几种方案

1. 同步双写

        与业务耦合深，且业务响应时间长

2. 异步双写

        这时可以使用类似MQ这样的中间件，业务主写时向MQ发送一条信息，再由一个聚合服务区消费，最终同步到ES

3. 定时任务

        不好配置时间，频率高会出现明显的波峰，频率低实时性不够

4. 数据订阅

        通过canal这种中间件去同步数据,0开发,无侵入,只需要配置好就可以

        缺点：如果需要数据聚合，那么就需要自己实现，即异步双写

---

实践：

        之前我们项目也提供一种系统--->系统的批量数据传输的方式：

                接收方单独启一个TCP端口用来数据传输，根据接收方配置来决定发送方启动多少线程、批次传输量、最大传输时间

                传输完毕以后回调接收方，告知本次传输状态、数据量、业务方配置等信息

                如异常需重新传则 继续上面的 使用 流程，暂不支持异常续传

---

结语：

        同步到其他系统或服务 大致实现思路也可参考上述方案