ES同步MySQL数据

一、准备工作

    logstash的下载地址：https://www.elastic.co/cn/products/logstash

    mysql 的java 驱动包：mysql-connector-java-5.1.44-bin.jar

二、安装及修改配置

    下载完成后解压，在config目录下创建【mysql.conf】文件(文件名随意，启动命令对应即可)

    文件内容如下：

input {
 stdin { }
    jdbc {
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
        jdbc_user => "root"
        jdbc_password => "root"
        jdbc_driver_library => "D:/es/logstash/mysql-connector-java-5.1.44-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        statement => "SELECT * FROM sys_user"
        schedule => "* * * * *"
    }
 }
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => "localhost:9200"
        index => "user"
        document_type => "userinfo"
        document_id => "%{id}"
    }
}

    注释：

input {
 stdin { }
    jdbc {
        //连接MySQL数据库地址
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
        //账号
        jdbc_user => "root"
        //密码
        jdbc_password => "root"
        //MySQL数据库驱动路径
        jdbc_driver_library => "D:/es/logstash/mysql-connector-java-5.1.44-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        //查询语句
        statement => "SELECT * FROM sys_user"
        //定时扫描时间
        schedule => "* * * * *"
    }
 }
 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
        //连接es地址
        hosts => "localhost:9200"
        //同步数据到索引的index
        index => "user"
        //type
        document_type => "userinfo"
        //主键字段
        document_id => "%{id}"
    }
}

三、启动

    配置好后，打开cmd窗口，敲入启动命令：bin\logstash.bat -f config\mysql.conf

    如果找不到文件，请检查命令路径，以及文件名称