使用Logstash将 Mysql 和 ElasticSearch 数据同步

前言

本文用于记录一次Mysql 同步数据到 ElasticSearch的实操, 以备忘记

按增量同步的概念

Logstash 自带定时任务, 默认每分钟将数据从 Mysql 搬运到 ElasticSearch. 然而 Mysql 中数据量庞大, 实际上可设置为按 Mysql 新增的数据同步到 ElasticSearch

本例采用按 updated_time 同步; 就是说每次同步后, 由 Logstash记录下同步时间 (假设为T0 时刻). 而每次 Mysql 中数据被改写或添加, 都要记录下 updated_time. 那么Logstash 下次同步时, 只筛选 Mysql 记录中, updated_time 在T0之后的

上述做法使得被删除的记录无法同步到 ElasticSearch. 举个例子, 如果 Mysql 有100条记录, 上次同步时间为 T0, 删了一条剩下99条, 下次T1 时间同步时, 99条记录中没有一条是在 T0和 T1之间的. 为了规避此问题, 被同步到 ElasticSearch的表的删除, 应做"假删除", 也就是一个update 操作

对于增量同步概念, 总结以下几点

• 被同步的表需要设置 update_time 或类似字段
• 删除只可做假删除

软件安装和准备

安装 ElasticSearch, ik_analysis 中文分词器, logstash, 注意这三者版本必须相同;

安装 elasticsearch-head-master 插件, 安装JDK8 并配置环境变量, 准备Mysql 数据库驱动 jar包

打开 head插件, 手动创建ES 索引, 本例为 foodie-items

在 logstash的安装目录下, 新建 sync 文件夹, 用于存放同步所需配置文件, cd sync, vim logstash-db-sync.conf

主配置文件 logstash-db-sync.conf

内容如下

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.209.151:3306/foodie_shop_dev?useUnicode=true&useSSL=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "10000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.209.151:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和指定sql 字段相同
        document_id => "%{id}"
		# 定义模板名称
		template_name => "myik"
		# 模板所在位置
		template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"
		# 重写模板
		template_overwrite => true
		# 默认为true，false关闭logstash自动管理模板功能，如果自定义模板，则设置为false
		manage_template => false
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

主配置文件中的几个要点

作为数据来源的 sql

# 执行的sql文件路径, 该 sql 的结果集就是导入 ElasticSearch的数据源, 通常是 select * from 某表, 但也可以根据需求自定义
# sql 需要定义好放在指定位置
statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"

# 本例 sql 内容如下, 对于读者, 只需关注 where 子句中的 sql_last_value:
	    SELECT
            i.id,
            i.item_name AS itemName,
            i.sell_counts AS sellCounts,
            ii.url AS imgUrl,
            ispec.price,
	    	i.updated_time AS updated_time
        FROM
            items AS i
        LEFT JOIN items_img AS ii ON ii.item_id = i.id
        LEFT JOIN(
	        SELECT
	            item_id, min(price_discount) AS price
	        FROM items_spec
	        GROUP BY item_id
	        ) AS ispec on ispec.item_id =i.id
        WHERE
            ii.is_main = 1
		AND
   			i.updated_time >= :sql_last_value

sql_last_value 是什么?

# 记录上一次追踪结果值的时间, 每次同步后, 在track_time文件中会有一个同步时间, 它就是 logstash实现增量同步的关键
# 这个同步时间就是 sql_last_value, 它在同步时自动填充到 sql 语句中
last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"

自定义中文分词模板:

要查看模板, 在postman 中执行如下请求: GET http://192.168.209.151:9200/_template/logstash

# 模板所在位置, 需要在指定位置自行配置模板
template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"

# 按需求修改的模板内容如下
{    
    "order": 0,
    "version": 1,
    "index_patterns": ["*"],
    "settings": {
        "index": {
            "refresh_interval": "5s"
        }
    },
    "mappings": {
        "_default_": {
            "dynamic_templates": [
                {
                    "message_field": {
                        "path_match": "message",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false
                        }
                    }
                },
                {
                    "string_fields": {
                        "match": "*",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false,
                            # 指定分词颗粒度, ik_smart 为粗粒度, ik_max_word 为细粒度
                            "analyzer": "ik_smart",
                            "fields": {
                                "keyword": {
                                    "type": "keyword",
                                    "ignore_above": 256
                                }
                            }
                        }
                    }
                }
            ],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "@version": {
                    "type": "keyword"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                }
            }
        }
    },
    "aliases": {}
}

最后, 运行 logstash执行同步, cd /usr/local/logstash-6.4.3/bin, 执行 ./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf