logstash同步mysql到es丢失_MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。...

MYSQL logstash 同步增量数据到ES

最近一段时间，在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失。logstash-jdbc无非是通过sql遍历数据表的所有数据，然后同步到es。

对于表里面的所有字段都需要查出来然后同步到es中去。本地测试数据表结构如下: CREATE TABLE `user` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`username` varchar(32) CHARACTER SET utf8 NOT NULL,

`upnum` decimal(20,0) NOT NULL,

`last_update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

PRIMARY KEY (`id`),

KEY `last_update_time` (`last_update_time`)

) ENGINE=InnoDB AUTO_INCREMENT=25094590 DEFAULT CHARSET=latin1;

数据同步脚本分为全量同步与增量同步。

全量同步sql如下: select id,username,upnum,last_update_time from user where id>{$MIN_ID} and id

通过shell的方式在每次执行之前替换脚本里面的最大最小ID,每批查询10万ID数据。

增量同步sql: select id,username,upnum,last_update_time from user where last_update