阿里云mysql同步elastic

Mysql 同步数据到 Eleasticsearch

阿里云mysql同步数据到elasticsearch,废话就不多说了,后面多说点,实在搞不清楚我想干啥,就从后面先看吧!

1. 登录阿里云账号A(该账号为数据源mysql的账号),进入访问控制页面:https://ram.console.aliyun.com/,
创建一个角色,并绑定elasticsearch对应的阿里云账号B

阿里云mysql同步elastic_第1张图片
阿里云mysql同步elastic_第2张图片
阿里云mysql同步elastic_第3张图片

2. 对角色进行授权,免得麻烦我选择“全部授权”(有洁癖小伙伴随意)!
坑点:授权完成之后,仍然要点击“管理”,按照下面第三张图按照固定格式添加“Service”:B账号@dts.aliyuncs.com

阿里云mysql同步elastic_第4张图片
阿里云mysql同步elastic_第5张图片
阿里云mysql同步elastic_第6张图片

3. 登录B账号,购买“数据传输服务” https://dts.console.aliyun.com/。
因为我只想迁移一次数据,所以选择按量付费,迁移后,马上“释放传输”,费用就会比较少!

阿里云mysql同步elastic_第7张图片
阿里云mysql同步elastic_第8张图片
阿里云mysql同步elastic_第9张图片

这里重点强调下,账号ID填写 A账号,角色为:A账号下刚才创建的角色,点击下箭头,会自动搜索A账号下的mysql实例,搜索到后,会要求填写用户名、密码等。目标实例就是当前(B账号)下的es资源,然后就一直下一步直到完成就可以进行数据传输了!

阿里云mysql同步elastic_第10张图片阿里云mysql同步elastic_第11张图片

4. 验证结果:根据mysql数据表名在kibana下查询对应索引,得到对应结果即成功!

阿里云mysql同步elastic_第12张图片

阿里云mysql同步elastic_第13张图片

故事背景

有一段时间么有用ES了,想练习一下,无奈数据在mysql中,于是考虑了一下三种方案:
1 通过es 的 API 将数据从mysql迁移到es(慢,自我感觉)
2 通过logstash传输(服务器是腾讯云的,es在阿里云B下,mysql在阿里云A下,折腾起来有点麻烦)
3 利用阿里云的数据传输服务(最菜的菜鸟才用的方法)

总结:原理其实就是A账号下创建一个角色并绑定B账号,让B账号以A账号(管理员or子用户)的身份在数据源取数据,然后存储在目标实例中。 日常工作很忙,偶尔想做些事情(实验or练习),时间非常宝贵,为了主要目标,适当花点小钱节约时间还是挺不错的,除非是要专门学习elk全部内容。

创建了一个技术闲聊群:有兴趣可加我微信,拉你一起讨论杂七杂八的技术,虽然大家都不怎么活跃!
加好友备注:你的博客名 && 随便给我的任意文章点个赞或留言
阿里云mysql同步elastic_第14张图片

你可能感兴趣的:(elasticsearch,elasticsearch,错误与工具收集)