MySQL 数据实时同步到Elasticsearch 实战

软件列表准备：
CentOS 7.6
MySQL 8.0.18
MySQL JDBC driver 8.0.18
Elasticsearch 7.4.2
logstash 7.4.2



插件：
jdbc-input



需求：
1.可以将历史数据和增量数据同步到Elasticsearch
2.MySQL中的增加 删除 修改记录可以实时同步到Elasticsearch

注意：Elasticsearch 不能讲delete的记录同步，需要借助于MySQL的软删除来进行标记数据记录。


为了快速验证 均采用yum安装：

1.MySQL安装和设置 基础准备信息：


2.安装Elasticsearch和logstash



3.验证：
MySQL中的历史数据：
1.查看MySQL中的历史数据：

2.查看ES中的历史数据：


3.增加记录：

4.查看增加的记录：

5.更新数据：

6.查看更新的数据：

7.MySQL中真实删除数据：

8.ES中查看是否删除：

9.利用MySQL中的软删除标记：

10.查看验证：


结论：
插件支持近乎实时的增加和更新数据，支持历史数据和增量数据同步。




参考文档：
https://www.elastic.co/blog/how-to-keep-elasticsearch-synchronized-with-a-relational-database-using-logstash