Elasticsearch 与mysql数据同步方法

假设已经有db_search的数据库，里面有张msg的表， msg表里面有主键id字段 （可以根据实际情况来）

已经启动 elasticsearch . 地址是 119.215.99.45 端口：9200.

已经安装 logstash, 地址在 /opt/logstash

已经安装 logstash-input-jdbc插件

准备两个文件jdbc.conf、msg.sql，名字不重要随便起

jdbc.conf ,输入下面的内容

input {

jdbc {      # 数据库连接字符串

jdbc_connection_string => "jdbc:mysql://数据库IP地址:3306/db_search?characterEncoding=UTF-8&useSSL=false"      # 数据库用户名和密码

jdbc_user => "root"

jdbc_password => "password"      # 数据库java驱动包目录

jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.46-bin.jar"      # the name of the driver class for mysql

jdbc_driver_class => "com.mysql.jdbc.Driver"

jdbc_paging_enabled => "true"

jdbc_page_size => "50000"      # 关联第二个文件

statement_filepath => "msg.sql"      # 开启用户字段追踪判断，缓存最后记录的对应字段，这里缓存的是主键id字段

use_column_value => true

tracking_column => "id"

record_last_run => true      # 缓存文件目录，会把最后操作的记录的id缓存到这个文件中，可以先建好放在合适的位置

last_run_metadata_path => "/opt/logstash/msg-id.last"      # 设定同步周期，当前设置是每分钟一次，更多设置请自己百度

schedule => "* * * * *"      # 索引的分类

type => "msg"    }}filter {

json {

source => "message"

remove_field => ["message"]    }}output {

elasticsearch {        # 地址

hosts => "119.215.99.45:9200"        # 索引的名称，可以随便起，我这边跟数据库起了一样的名字

index => "db_search"        # 索引下面的分类，直接用了上面配置中的值

document_type => "%{type}"    }

stdout {

codec => json_lines    }}

msg.sql 里面输入以下内容

select

id,

msg_title,

msg_link,

publish_timefrom

msgwhere

id > :sql_last_value

这个就不需要多解释了，根据你的实际情况来设置需要存到索引中的字段，其中 :sql_last_value 这个值会自动读取之前设置的缓存文件msg-id.last中的值

很显然我这个配置是不支持数据修改的，因为我用的是主键id字段，如果有数据修改的需求可以指定其他的字段，原理我在文章开头已经讲的很清楚了。

测试运行

启动

sudo bin/logstash -f jdbc.conf

然后你就可以往mysql中插入数据了，等会再到elasticsearch中查看是否已经自动建立相应的索引，索引的文档数是否等于mysql的新增数据数。具体我就不演示了

注意事项，很重要！！！

此方法自动建立的索引有个很重要的问题，就是分词器是用的系统默认的，对中文支持很烂，而且索引一旦建立是不能修改分词器的（切记，切记）！所以如果你需要指定分词器（比如IK），就必须先建立索引，然后再进行数据同步。