数据结构复杂建表难，查询慢？MySQL数据同步至Elasticsearch全套解决方案帮您解决

目前，很多业务中的对象都拥有复杂的数据结构，例如包含日期、气象信息、地理地图信息、对象或数组等。假设您的数据结构如下：

{

  "took" : 21,

  "timed_out" : false,

  "_shards" : {

    "total" : 5,

    "successful" : 5,

    "skipped" : 0,

    "failed" : 0

  },

  "hits" : {

    "total" : 6,

    "max_score" : 1.3968885,

    "hits" : [

      {

        "_index" : "product_info",

        "_type" : "products",

        "_id" : "WLvWYXAB8Rql5AUxLqUU",

        "_score" : 1.3968885,

        "_source" : {

          "productName" : "productName1",

          "annual_rate" : "3.1100%",

          "describe" : "xxxxxxxx"

        }

      },

      {

        ..............................

      },

      {

        ..............................

      },

      {

        ..............................

        }

      }

    ]

  }

}

如果以上数据存储到MySQL中，那就需要将一个完整的对象拆分成一行一列形成一张或多张表进行存储。这样不仅耗时耗力，而且查询的时候又要将其重组，导致查询延迟。但是使用Elasticsearch，您可以存储整个对象（文档），如下。

在这里插入图片描述

Elasticsearch是一款非常强大的搜索引擎，可以让你在海量的数据中快速找到想要的内容。例如，代码搜索：可以帮助您找到相应的代码仓库，还可以实现代码级的搜索及高亮显示；网上shopping：可以帮助您推荐商品。

除了大数据搜索，Elasticsearch结合Logstash和Beats，还被广泛应用在大数据实时分析领域，例如日志分析、指标监控、信息安全等。帮助您探索海量的结构化和非结构化的数据，按需创建可视化报表、对监控数据设置报警阈值，甚至使用机器学习技术，自动识别异常状况、及时发出警报。

MySQL与Elasticsearch数据结构的对应关系可参见基本概念。

本文以阿里云Elasticsearch为例，为您提供将MySQL数据迁移至Elasticsearch中的全套解决方案。

阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。支持5.5.3、6.3.2、6.7.0、6.8.0和7.4.0等版本，并提供了商业插件X-Pack服务。在开源Elasticsearch的基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。阿里云Elasticsearch为您提供1个月的免费试用活动，单击此处即可免费试用。

MySQL数据同步至Elasticsearch

• DTS（实时同步）

  • 原理说明：DTS采用binlog方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。
  • 适用场景：对数据同步的实时性要求较高的场景。
  • 使用限制：
    • DTS目前不支持ES 7.4版本。
    • DTS不支持多表查询及多表联合查询，可将多表做成视图方式进行同步。
    • DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库负载上升。
    • 支持自定义索引Mapping结构，但需保证Mapping中定义的字段与MySQL中一致。
  • 相关文档：通过DTS将MySQL数据实时同步到阿里云ES

• Logstash JDBC

  • 原理说明：通过logstash-input-jdbc插件实现Logstash批量查询RDS中的数据，并将数据迁移到ES。实现的本质是该插件会定期对RDS中的数据进行循环轮询，从而在当前循环中找到上次插入或更改的记录，然后批量查询这些记录并迁移至ES。与DTS同步方案相比，该方案的实时性较差，存在秒级延迟。
  • 适用场景：同步全量数据，接受秒级延迟的场景；批量查询数据然后进行同步的场景。
  • 使用限制：
    • 使用前，需要先在Logstash中上传与RDS 版本兼容的SQL JDBC驱动。
    • 需要在RDS的白名单中加入Logstash集群中节点的IP地址。
    • 需要确保Logstash和RDS在同一时区（避免同步过程中出现时间标记不符的情况）。
    • 需要确保ES中的_id字段与RDS中的id字段相同。
    • 当您在RDS中插入或更新数据时，需要确保对应记录有一个包含更新或插入时间的字段。
  • 相关文档：通过阿里云Logstash将RDS MySQL数据同步至阿里云ES

• DataWorks（离线数据同步）

  • 原理说明：DataWorks是一款提供数据集成、数据开发及数据质量等全方位的产品服务。支持引入并存储关系型数据，然后进行转化和开发，最后将处理后的数据同步到ES或其他数据系统。
  • 适用场景：大数据离线同步场景（可实现最快5分钟一次的离线数据采集任务）；需要自定义查询语句，以及多表联合查询后同步数据的场景。
  • 使用限制：
    • 需要开通DataWorks服务。
    • 对于传输速度要求较高或复杂环境中的数据源同步场景，需要自定义资源组。
    • 需要在RDS的白名单中添加资源组的IP地址。
  • 相关文档：通过DataWorks将MySQL数据同步到阿里云ES

• Canal（自建MySQL同步）

  • 原理说明：通过binlog方式实现数据实时同步及订阅。
  • 适用场景：使用自建MySQL，且对数据同步的实时性要求较高的场景。
  • 使用限制：
    • 需要手动在服务器上搭建Canal环境，会增加操作成本。
    • 当前最新版本的Canal（1.1.4）暂不支持ES 7.4版本。
    • 支持自定义索引Mapping结构，但需保证Mapping中定义的字段与MySQL中一致。
  • 相关文档：通过Canal将MySQL数据同步到阿里云ES