快速搭建elasticsearch和mysql数据库间的数据同步
标题：本文章讲解的是elasticsearch和数据库之间的同步
注：本教程是elasticsearch和Kibana是采用docker去安装的，在本地虚拟机去搭建，建议虚拟机内存调为2G以上
记得修改为你对应的虚拟机ip
docker安装就省略了，需要安装docker请百度
一，安装elasticsearch
docker命令
1.下载ES镜像问题
docker pull elasticsearch
2.运行ES
docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch
3. 输入网址测试运行结果
http://192.168.248.157:9200/看到这个页面可以进行下一步了
二，安装Kibana
注：Kibana是elasticsearch的可视化工具
docker命令：
1.运行命令
docker run -it -d -e ELASTICSEARCH_URL=http://127.0.0.1:9200 --name kibana --network=container:elasticsearch kibana
2.输入网址测试运行结果
http://192.168.248.157:5601/app/kibana
看到这个页面就成功了
三，安装logstash
3.1通过百度云下载
链接：https://pan.baidu.com/s/1qW9b1q_6lFv8FaRgNBF-yA
提取码：m81n
下载好：通过工具传到/usr/local/目录下，请看下面的命令
3.2通过命令下载
1.进入到/usr/local目录
cd /usr/local
2.下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz
3.解压
tar –zxvf logstash-6.4.3.tar.gz
4.进入目录
cd logstash-6.4.3
5.安装logstash-input-jdbc
bin/logstash-plugin install logstash-input-jdbc
6.安装logstash-output-elasticsearch
bin/logstash-plugin install logstash-output-elasticsearch
安装工作就完成了，重要的操作来了，请看下面
四，配置文件
该步骤是配置多个conf，如果你连接一个就配一个就行了
4.1创建sql文件夹
1.还是在local目录下
cd /usr/local
2.创建sql文件夹
mkdir sql
cd sql
进入了sql目录下
4.2请进入下面链接下载对应的东西
链接：https://pan.baidu.com/s/1gLR73LIoEcOrnc-fjB5yZg
提取码：2pta 这个百度云链接有三个文件，把这三个文件按下面操作修改完就上传到sql这个目录里
4.3创建数据库
test数据库的user表
CREATE TABLE `user` (
`id` int(50) NOT NULL AUTO_INCREMENT,
`name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
`update_time` datetime(0) NOT NULL DEFAULT CURRENT_TIMESTAMP(0),
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 4 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
INSERT INTO `user` VALUES (1, 'hahah', '2020-03-06 15:10:04');
INSERT INTO `user` VALUES (2, '小二', '2020-03-07 15:10:21');
INSERT INTO `user` VALUES (3, '小三', '2020-03-07 15:20:28');
test2数据库的name表
DROP TABLE IF EXISTS `name`;
CREATE TABLE `name` (
`id` int(50) NOT NULL AUTO_INCREMENT,
`name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
`update_time` datetime(0) NULL DEFAULT NULL,
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 3 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
INSERT INTO `name` VALUES (1, '李1', '2020-03-07 19:59:36');
INSERT INTO `name` VALUES (2, '李2', '2020-03-07 20:00:25');4.4mysql.conf分析
input {
jdbc {
#jar和驱动
jdbc_driver_library => "/usr/local/sql/mysql-connector-java-5.1.46.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
#数据库连接，账号，密码
jdbc_connection_string => "jdbc:mysql://192.168.248.157:3306/test2"
jdbc_user => "root"
jdbc_password => "root"
#Crontab表达式以分为单位
schedule => "* * * * *"
#statement要执行的 sql，以 “:” 开头是定义的变量，可以通过 parameters 来设置变量，这里的
#sql_last_value 是内置的变量，表示上一次 sql 执行中 update_time 的值，这里 update_time
#条件是 >= 因为时间有可能相等，没有等号可能会漏掉一些增量
statement => "SELECT * FROM name WHERE update_time >= :sql_last_value"
#use_column_value:使用递增列的值
use_column_value => true
#tracking_column_type:递增字段的类型，numeric 表示数值类型, timestamp 表示时间戳类型
tracking_column_type => "timestamp"
#tracking_column:递增字段的名称，这里使用 update_time 这一列，这列的类型是 timestamp
tracking_column => "update_time"
#last_run_metadata_path: 同步点文件，这个文件记录了上次的同步点，重启时会读取这个文件
last_run_metadata_path => "syncpoint_table"
}
}
output {
elasticsearch {
# ES的IP地址及端口
hosts => ["192.168.248.157:9200"]
# 索引名称 可自定义
index => "name"
# 需要关联的数据库中有有一个id字段，对应类型中的id
document_id => "%{id}"
document_type => "name"
}
stdout {
# JSON格式输出
codec => json_lines
}
}
我们要修改的就这些地方
当你修改完上传后，进入最终操作
1.进入logstash-6.4.3目录
cd /usr/local/logstash-6.4.3
2.修改配置config/pipelines.yml
vi config/pipelines.yml
3.在pipelines.yml后加上下面4行,假设我们有两个表 table1 和 table2，对应两个配置文件
- pipeline.id: table1
path.config: "/usr/local/sql/mysql.conf"
- pipeline.id: table2
path.config: "/usr/local/sql/mysql_1.conf"
4.5运行
1.在/usr/local/logstash-6.4.3目录运行命令
./bin/logstash
要等一会，你就可以看到下面的内容证明和数据库同步成功
在浏览器输入地址http://192.168.248.157:5601/app/kibana#
点击左边导航栏的Dev Tools
这就表示成功啦
这时候在test2数据库name表手动插入一条新的数据测试看看
是不是很简单，嘿嘿