mysql多表同步es一个索引_使用 Logstash 同步多个数据表到 Elasticsearch 同一个索引 （Index）...

最近使用了 ELK 做搜索，出报表，由于我们的业务数据很多，汇总起来有近 200 个字段，刚开始写了一个庞大的视图通过 Logstash 同步到 Elasticsearch，但是遇到了很多问题：

1、由于聚合了很多表，不确定主表和其他表的对应关系，导致实际的数据量有误；

2、实际上视图就是一个效率低下的关联查询，所以每次同步数据，数据库的压力比较大；

3、有的数据其实更新频率并不是很高，但是在查询的时候还是需要占用数据库资源，不合理；

基于以上问题，想到基于更新频率和数据边界划分视图，通过 Logstash 同步到 Elasticsearch 的同一个 Index，几个关键点：

1、每个视图都必须有一个相同字段对应 ES 索引的 document id，也就是 Document ID 要一致；

2、每个视图都必须有一个自己的更新 trackingcolum，不可以和其他视图有相同的 tracking_column;

3、Logstash Elasticsearch Output 设置

index => "index" // 必须相同

document_id => "%{id}" // 必须相同

doc_as_upsert => true // 设置如果 document_id 不存在则创建

action => "update" // 设置同步方式是更新

这样就可以实现多个数据源，同步到一个 ES 索引，上面我是用的是数据源是 Mysql，JDBC Input，理论上可以换成其他任何数据源，只要保持这个原则即可