DataX 阿里巴巴 离线数据同步工具/平台使用2———mysql to elasticsearch

将mysql数据同步到elasticsearch

安装的mysql和elasticsearch在同一台服务器上，elasticsearch版本6.5.1

1、安装DataX

下载源码：https://github.com/alibaba/DataX?spm=a2c4g.11186623.2.12.317b3680my463k

然后编译，编译过程中会出现一些jar无法下载的问题，可以在编译的时候只保留mysql和elasticsearch的模块，把pom.xml中的其他modul注释掉

        common
        core
        transformer

       
        mysqlreader
       

       
       
        elasticsearchwriter
       

2、 设置数据传输的json文件

可以参考：https://helpcdn.aliyun.com/document_detail/62149.html

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
               
                            "name",
                            "passwd"
            ], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://192.168.68.128:3306/company3_home?useUnicode=true&characterEncoding=utf-8"], 
                                "table": ["user_info"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                        "where": ""
                    }
                }, 
                 "writer": {
              "name": "elasticsearchwriter", 
              "parameter": {
                  "accessId": "xxx",   
                  "accessKey": "xxx",  
                  "endpoint": "http://192.168.68.128:9200",  
                  "index": "school_index", 
                  "type": "user_info",  
                  "cleanup": false,  
                  "discovery":false, #此字段要特别注意，我本地是单机的es
                  "batchSize": 2000,  
                  "column": [
            
                      {
                          "name": "name",
                          "type": "text"  
                      },
                      {
                          "name": "passwd", 
                          "type": "text"  
                      }
                  ]
              }
          }
            }
        ], 
        "setting": {
            "speed": {
                "channel": 10
            }
        }
    }
}

 

3、执行

在数据传输之前，可以不用在es中创建index,type,mapping