大数据周会-本周学习内容总结04

目录

1、mysql数据同步到es

1.1、通过logstash同步数据

1.2、canal数据同步

1.3、通过logstash将本地文件导入es

2、git

---

1、mysql数据同步到es

1.1、通过logstash同步数据

elastic官方文档：如何使用Logstash和JDBC确保 Elasticsearch与关系型数据库保持同步，

https://www.elastic.co/cn/blog/how-to-keep-elasticsearch-synchronized-with-a-relational-database-using-logstash

 

1.2、canal数据同步

Canal作用：主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。

效果：

 

单条sql语句：

多条sql语句：

Canal调研文档：

1. 如何使用canal将MySQL数据同步到表格存储_表格存储-阿里云帮助中心
   1. 简介：对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。
   2. 前提条件
      1. 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。
      2. 已创建目标Tablestore表。
2. GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件
   1. Alibaba canal官方文档
3. Canal Kafka RocketMQ QuickStart · alibaba/canal Wiki · GitHub
   1. 小demo，Canal Kafka RocketMQ QuickStart

1.3、通过logstash将本地文件导入es

ELK：logstash，通过配置logstash.conf文件的方式将xxx.csv数据导入es。

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。

 

2、git

安装：Git-2.13.0-64-bit.exe、TortoiseGit-2.4.0.2-64bit.msi。

学习内容：

1. git安装、TortoiseGit安装
2. 使用git管理文件版本
   1. 创建版本库：使用git方式、使用TortoiseGit方式
   2. 添加文件
   3. 修改文件：提交修改、查看修改历史、差异对比、还原修改
   4. 删除文件