canal_mysql_elasticsearch_sync功能及性能验证

其它同步方案验证：go-mysql-elasticsearch功能及性能验证

1、本次测试基于单点测试，工程基于canal作为server，使用的canal_mysql_elasticsearch_sync作为客户端版本为1.0.3，canal版本为1.0.24，elasticsearch版本为5.5.0。

      详情请查询连接https://gitee.com/starcwang/canal_mysql_elasticsearch_sync

2、测试点如下：

• 1.全量同步
• 2.增量同步
• 3.单表
• 4.多表连接
• 5.mapping映射有没有问题
• 6.数据准确性有没有问题
• 7.多张表向一个索引映射
• 8.同一个实例多个库

3、测试环境

• 1:linux系统，内存16G(安装有canal、canal_mysql_elasticsearch_sync、es)
• 2:linux系统，内存2G（安装mysql）

4、测试结果

• 1.全量同步
  支持：同步20W数据，耗时1分50秒。
• 2.增量同步
  支持。
  增量插入20W数据，耗时3小时16分钟。
  删除1w条数据，耗时10分15秒
• 3.单表
  支持。
• 4.多表连接
  不支持。
• 5.mapping映射有没有问题
  支持，与logstash自动映射生成的mapping类似。
  支持，将时间格式转换为yyyy-MM-dd HH:mm:ss，其它不支持。
  不支持字段名修改和字段类型修改。
• 6.数据准确性有没有问题
  准确性正确，暂未遇到数据不一致性问题。
• 7.多张表向一个索引映射
  不支持
• 8.同一个实例多个库
  支持

5、总结

• 版本问题，要根据提示使用对用的版本，否则会有问题。
• 增量同步数据量大的情况下效率较慢。
• 单条数据同步数据延迟会有（100ms）。
• 不支持表关联，不支持表结构相同的多张表同步到一个索引上。
• 灵活性不好。

转载于:https://my.oschina.net/u/2282993/blog/1821946