mysql同步

Logstash同步mysql一对多数据到ES（踩坑日记系列）

使用Logstash从mysql同步用户和用户所有的宠物到ES中。
孟林洁·2020-07-27 12:31

Linux命令：grep和awk

参考资料：https://www.cnblogs.com/wangcp-2014/p/5146335.htmlhttps://www.cnblogs.com/flyor/p/6411140.html之前在写MySQL
Wetsion·2020-07-14 06:42

【ELK7.4.2】MAC+ES+logstash+MySql同步更新数据

ES版本：7.4.2logstash版本：7.4.2MySql版本：8.0.18Java数据库驱动版本：8.0.18MySql建表语句如下（帮初学者省点时间）：CREATEDATABASEtestyy;usetestyy;CREATETABLEIFNOTEXISTS`runoob_tbl`(`runoob_id`INTUNSIGNEDAUTO_INCREMENT,`runoob_title`VAR
阳光idol·2020-07-13 10:04

mysql系列之(3)——mysql主从同步介绍

1、mysql同步原理(1)、master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。
康康不遛猫·2020-07-12 10:54

mysql 测试环境过一段时间就连接不上

mysql测试环境过一段时间就连接不上说明：测试环境是阿里云RDSmysql同步过去的用的是innobackupex恢复的，设置skip-grant-table免密码登录，版本和阿里云rds保持一致启动方式为
wangwei·2020-07-12 05:08

mysql replication多源服务器下的auto_increment冲突问题

在以前的文章中《mysql同步复制M-M(mastermaster)模式》里，配置了这样一种双向同步机制，两台服务器都可以保持同步并且都可以读写，但是这种配置方案还不完善，生产上实际可能出现很多问题，最突出的一点就是库中某些表有自增长
曾经的阿飞·2020-07-11 21:21

mongodb慢查询

最近mysql同步到mongodb很慢，开始排查问题。
kynni·2020-07-11 06:17

mysql同步数据到PostgreSQL(使用mysql_fdw)

1、安装下载地址：https://github.com/EnterpriseDB/mysql_fdw修改环境变量：exportMYSQLHOME=/usr/local/mysqlexportPGHOME=/home/pg12/pgsql12.4exportLD_LIBRARY_PATH=$PGHOME/lib:$MYSQLHOME/lib:/lib64:/usr/lib64:/usr/local/
foucus、·2020-07-10 09:10

tungsten-replicator 实现　mysql 与mysql同步

１，centos5.3安装tungsten需要ruby,java[root@localhost~]#java-versionjavaversion"1.6.0_25"Java(TM)SERuntimeEnvironment(build1.6.0_25-b06)JavaHotSpot(TM)ClientVM(build20.0-b11,mixedmode,sharing)2，还需要ssh自动登录配置
weixin_34414650·2020-07-10 09:09

MySQL同步机制、主从复制半同步和双主配置

复制架构衍生史在谈这个特性之前，我们先来看看MySQL的复制架构衍生史。在2000年，MySQL3.23.15版本引入了Replication。Replication作为一种准实时同步方式，得到广泛应用。这个时候的Replicaton的实现涉及到两个线程，一个在Master，一个在Slave。Slave的I/O和SQL功能是作为一个线程，从Master获取到event后直接apply，没有rela
牧竹子·2020-07-09 06:15

【总结】Datax使用过程中遇到的问题

问题场景：1、数据从MySQL同步到HDFS，最终用hive进行使用，发现字段值为时间的数值在同步过程中会出现八小时差值解决方法：mysqlreader的jdbcUrl参数指定时区，如：jdbc:mysql
萌新_程序媛·2020-07-08 20:55

这套方法论，彻底终结MySQL同步延迟问题

作者介绍张秀云，网名飞鸿无痕，现任职于腾讯，负责腾讯金融数据库的运维和优化工作。2007年开始从事运维方面的工作，经历过网络管理员、Linux运维工程师、DBA、分布式存储运维等多个IT职位。对Linux运维、MySQL数据库、分布式存储有丰富的经验。简书地址：https://www.jianshu.com/u/9346dc2e9d3e作为一名DBA，我们在工作中会经常遇到一些MySQL主从同步延
sas???·2020-07-08 16:15

MYSQL5.7实时同步数据到TiDB

MYSQL5.7实时同步数据到TiDB操作系统：CentOS7mysql版本：5.7TiDB版本：2.0.0同步方法：使用TiDB提供的工具集进行同步说明：单机mysql同步时，可以直接使用binlog
weixin_30550081·2020-07-08 14:49

关于elasticsearch与数据库同步的探讨

前言：在最近的一个项目中，存在着es与Mysql同步的需求，当时就想着使用插件来完成，但是在实际的操作中存在一些不可避免的问题。
世界上最帅的男人·2020-07-07 23:50

某网站Redis与MySql同步方案分析

后续文章：通过Canal保证某网站的Redis与MySql的数据自动同步1.编写目的某网站项目引入了redis缓存技术，如何保证Redis与MySql的数据一致性是开发人员需要首要解决的问题。本文主要包括以下内容：Redis与MySql的数据一致性方案汇总与选取Canal解析binlog方案简介其他Redis开发原则2.方案汇总与选取下面展示了几种常见的Redis与MySql数据一致性的方案：序号
hanchao5272·2020-07-07 09:22

MySQL 传统复制与 GTID 复制原理及操作详解

MySQL复制在业界里有叫：mysql同步，ab复制等。专业名称就是叫：复制。复制是单向的，只能从master复制到slave上，延时基本上是毫秒级别的。
Enmotech·2020-07-07 07:33

彻底终结MySQL同步延迟问题

作为一名DBA，在工作中会经常遇到一些MySQL主从同步延迟的问题，这些同步慢的问题，其实原因非常多，可能是因为主从的网络问题导致，可能是因为网络带宽问题导致，可能是因为大事务导致，也可能是因为单线程复制导致的延迟。最近遇到一个很典型的同步延迟问题，将分析过程写出来，希望对广大DBA在排查同步延迟问题有比较系统的方法论。首先交代一下背景（不交代背景和场景的问题分析都是耍流氓）最近有一组DB出现比较
biubiuli·2020-07-07 04:29

基于Kafka Debezium Confluent实现MySql实时同步到ES

2、基于debezium的MySqlConnector插件，完成Mysql同步到Kafka。此插件的机制与阿里的cana
zj007ok·2020-06-30 18:20

django.db.utils.OperationalError: (1050, "Table 'devtypeinfo' already exists

用django1.7.6创建的工程，在想数据库mysql同步表格时，出现问题;django.db.utils.OperationalError:(1050,"Table'devtypeinfo'alreadyexists
echo_blue-eyes·2020-06-29 19:20

redis 与 数据库（Mysql）同步

方法1：mysql同步到redis：解析mysql的binlog，然后做同步处理，可以使用的库有：open-replicator（https://github.com/whitesock/open-replicator
魅影骑士0050·2020-06-29 18:03

大数据离线数据数据仓库项目(一)

基于项目需求实现查询功能（写SQL）或整理出查询流程阶段二学习、掌握kettle的使用、使用kettle将项目需求所需的数据在MYsql同步到Hive使用sqoop,将剩余的数据在MYsql同步到Hive
真情流露哦呦·2020-06-29 09:35

使用KETTLE从mysql同步增量数据到oracle

2019独角兽企业重金招聘Python工程师标准>>>初次使用ETL工具抽取并同步数据，搜索之后决定使用kettle，使用后感觉很方便。本次是基于一个很小的需求，需要把老系统的mysql数据在一段新老系统共存时期内产生的数据实时传输到新系统oracle中，因为实时性要求不算高，所以我没有做触发器这些对接，只单纯的使用kettle做了一个抽取转换传输，定时执行。下面记录一下本次的操作，并写一下自己遇
weixin_34279061·2020-06-28 15:08

测试环境MySQL断电重启后主从的问题

故做以下故障记录,还得待研究====>参考链接==>http://xstarcd.github.io/wiki/MySQL/online_mysqlrepl_error.html线上MYSQL同步报错故障处理总结贺春旸
weixin_34238642·2020-06-28 14:10

《Mysql高级知识》系列分享专栏

点击可直接下载至本地查阅https://www.webfalse.com/read/201756.html文章MySQL数据库InnoDB引擎主从复制同步经验总结Linux下自动备份MySQL的方法php在linux下检测mysql
weixin_34234823·2020-06-28 14:31

windows同步mysql数据到elasticsearch

go-mysql-elasticsearch）Elasticsearch最佳实践从Mysql到Elasticsearch（涉及go-mysql-elasticsearch）Elasticsearch-Logstash实现mysql
ununie·2020-06-27 10:05

MySQL同步状态双Yes的假象及seconds_behind_master的含义

MySQL同步状态双Yes的假象及seconds_behind_master的含义近期由于特殊原因有一台主库宕机了一个小时没有处理，说起来这是个挺不好啥意思的事情，但是由于这个事情反而发现个比较诡异的情况
贾维斯博客·2020-06-26 23:48

debezium mysql 创建订阅任务逻辑

debezium创建mysql同步任务逻辑主要在MysqlConnectorTask.start方法内，由以下3个大步骤组成:1.初始化和构建Readers2.Readers工作3.数据获取之后初始化和构建
_laomei_·2020-06-26 16:21

Mysql同步数据到ElasticSearch,ES单表，多表同步

Mysql同步数据到ElasticSearch,ES单表，多表同步多表同步：1、安装logstash-input-jdbc插件参考链接：https://blog.csdn.net/chenguihua5
梅花香自苦寒来！·2020-06-26 03:35

千亿级数仓_项目总结

文章目录项目流程技术选型数据存储数据同步计算模型结果存储kylin加速查询项目流程1、原始数据在mysql存储2、使用kettle将数据在mysql同步到数据仓库（hive）,同步分为全量同步+增量同步
千千匿迹·2020-06-26 03:35

kettle根据时间戳增量的将数据从MySQL同步SQLServer（linux部署脚本启动作业、config.properties 配置数据库）

目录一、设计思路与方案1、思路2、方案3、总体流程二、实现步骤2.1、创建作业和DB连接2.2、创建时间戳表2.3、获取时间戳并设为变量2.4、插入更新2.5、更新时间戳2.6、配置数据源加载外部文件一、设计思路与方案1、思路我的需求：从MySQL按时间增量同步到SQLServer，MySQL中的数据会源源不断的写入，不会删除数据，SQLServer根据MySQL表中的modifytime做增量同
kangna_卧龙先生·2020-06-25 10:49

Kettle 数据同步 Caused by: com.microsoft.sqlserver.jdbc.SQLServerException

场景：使用Kettle将数据从MySQL同步到SQLSErver，其中有一个字段默认为空串，而且确实也没有数据，同步数据报错。
kangna_卧龙先生·2020-06-25 10:16

mysql数据同步至elasticsearch简单练习(binlog+canal+kafka+docker+elasticsearch)

mysql同步es学习记录。操作系统是window。
那个人好像一条狗啊·2020-06-25 01:21

ElasticSearch和Mysql同步数据的方法

1.对于需要在ES中进行查询的表格，增加字段UPDATE_TIME，ES同步数据时根据该字段同步插入和更新的数据。在增加和修改数据时，MySql会自动更新UPDATE_TIME为当前时间，不需要人工进行管理ALTERTABLE`table_name`ADDCOLUMN`UPDATE_TIME`timestampNOTNULL DEFAULT CURRENT_TIMESTAMP ONUPDATE C
orchisy·2020-06-24 18:45

「民工哥技术之路」2019年 10 月文章集合

一文搞明白Nginx核心原理MySQL同步复制及高可用方案总结首次公开，阿里史上最重要的三段代码大型网站的灵魂——性能官方工具｜MySQLRouter高可用原理与实战SQL性能优化梳理什么是高并发架构？
民工哥·2020-06-24 14:51

Oracle同步数据到MySQL

Oracle同步数据到MySQL1、首先在TreeSoft数据库中配置两个数据源信息2、配置数据同步任务，并执行任务3、同步结果数据查看确认4、目前TreeSoft支持以下数据同步方案1、MySQL同步数据到
marko39·2020-06-24 13:18

mysql同步复制抛Got fatal error 1236 Slave can not handle replication events with the checksum

做主主同步时，基本信息：1.master1mysql版本是5.6.122.master2mysql版本时5.5.36一：在master1做同步复制成功。二：在master2做同步复制失败。Last_IO_Error:Gotfatalerror1236frommasterwhenreadingdatafrombinarylog:'Slavecannothandlereplicationeventsw
lzj0470·2020-06-24 11:08

mysql同步数据到flume,然后flume同步数据到kafka

自定义插件包下载地址https://download.csdn.net/download/a1213353721/10935724下面是flume的配置信息，我是在CDH集群环境上配置的，经测试可用tier1.sources=s-1tier1.channels=c-1tier1.sinks=k-1k-2#这个是配置failover的关键，需要有一个sinkgrouptier1.sinkgroups
醉酒的诗意·2020-06-22 10:42

实战 | canal 实现Mysql到Elasticsearch实时增量同步

1、Canal同步1.1canal官方已支持Mysql同步ES6.X
铭毅天下·2020-06-21 14:11

elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

1.如何实现mysql与elasticsearch的数据同步？逐条转换为json显然不合适，需要借助第三方工具或者自己实现。核心功能点：同步增、删、改、查同步。2、mysql与elasticsearch同步的方法有哪些？优缺点对比？目前该领域比较牛的插件有：1）、elasticsearch-jdbc，严格意义上它已经不是第三方插件。已经成为独立的第三方工具。https://github.com/j
铭毅天下·2020-06-21 14:38

debezium获取mysql binlog通过kafka实现mysql同步

目标是实现mysql通过binlog的同步安装confluent下载地址地址解压tar-zxvfconfluent-5.1.2-2.11.tar.gz进入到confluent中快速启动ZooKeeper,Kafka,SchemaRegistry,ControlCenter,KafkaConnect,KafkaRESTProxy,KSQL。./bin/confluentstart如图就是快速启动成功
ArchitectDream·2020-06-21 03:13

msyql 开启 replication semi synchronous

背景通过用go-mysql同步到es过程中，提示如下错误masterdoesnotsupportsemisynchronousreplication,usenosemi-sync解决1.安装插件mysql
牙小木木·2020-06-21 03:17

Redis与mysql同步问题

Redis是一个高性能的key-value数据库。redis的出现，很大程度上补偿了memcached这类key-value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。由于游戏服务器数据更新频繁，如果每次读写数据会造成读写数据库的压力大，效率低。redis的使用场景：首先，程序先去redis中判断数据是否存在：如
小白frankie·2020-04-08 15:55

ProxySQL+Mysql实现数据库读写分离实战

前面也写过几篇关于Mysql数据的文章：MySQL集群高可用架构之MHAMySQL同步复制及高可用方案总结官方工具｜MySQLRouter高可用原理与实战今天给大家带来的是关于数据库读写分离相关的实战操作
民工哥·2020-04-06 09:35

mysql双主模型(单活)+keepalived

1、实现主从架构2、暂停前端写入数据到主mysql，重置从mysql的二进制日志3、配置主mysql向从mysql同步，并开启同步，测试数据4、安装配置keepalive，前段
词穷又词贫·2020-03-30 06:43

彻底终结MySQL同步延迟问题 - 简书

作为一名DBA，在工作中会经常遇到一些MySQL主从同步延迟的问题，这些同步慢的问题，其实原因非常多，可能是因为主从的网络问题导致，可能是因为网络带宽问题导致，可能是因为大事务导致，也可能是因为单线程复制导致的延迟。最近遇到一个很典型的同步延迟问题，将分析过程写出来，希望对广大DBA在排查同步延迟问题有比较系统的方法论。首先交代一下背景（不交代背景和场景的问题分析都是耍流氓）最近有一组DB出现比较
·2020-03-24 08:00

MySQL同步故障处理（Last_Error: 1864）

之前朋友给我提供了一个主从同步故障处理的案例，在此share给大家，希望能帮到一些有需要的人。MySQLslave同步报错：$Last_Error:1864Last_Error:CannotscheduleeventRows_query,relay-logname./db-s18-relay-bin.000448,position419156572toWorkerthreadbecauseitss
boomballa·2020-03-21 11:51

ProxySQL+Mysql实现数据库读写分离实战

前面也写过几篇关于Mysql数据的文章：MySQL集群高可用架构之MHAMySQL同步复制及高可用方案总结官方工具｜MySQLRouter高可用原理与实战今天给大家带来的是关于数据库读写分离相关的实战操作
民工哥·2020-03-19 17:00

MySQL同步原理

image.png主从复制是怎么实现的呢？更新语句会记录binlog，它是一种逻辑日志。有了这个binlog，从服务器会获取主服务器的binlog文件，然后解析里面的SQL语句，在从服务器上面执行一遍，保持主从的数据一致。这里面涉及到三个线程，连接到master获取binlog，并且解析binlog写入中继日志，这个线程叫做I/O线程。Master节点上有一个logdump线程，是用来发送binl
威少JAVA·2020-03-05 15:42

23、mysql高可用实践

：参考"21、部署herartbeat"文档；2、部署drbd：参考"22、部署drbd"文档；3、heartbeat和drbd整合：参考"22.17、heartbeat和drbd整合"文档;3、部署mysql
何以.解忧·2020-02-16 10:00

彻底终结MySQL同步延迟问题

作为一名DBA，在工作中会经常遇到一些MySQL主从同步延迟的问题，这些同步慢的问题，其实原因非常多，可能是因为主从的网络问题导致，可能是因为网络带宽问题导致，可能是因为大事务导致，也可能是因为单线程复制导致的延迟。最近遇到一个很典型的同步延迟问题，将分析过程写出来，希望对广大DBA在排查同步延迟问题有比较系统的方法论。首先交代一下背景（不交代背景和场景的问题分析都是耍流氓）最近有一组DB出现比较
飞鸿无痕·2020-01-06 07:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他