主备数据同步

深度揭秘：我们是如何设计一个每天同步万亿数据的神器 - SeaTunnel架构解密

"设计一个能支撑万亿级数据同步的系统挑战有多大？来告诉你一个从0到1的故事..."一个深夜的求助2021年的一个深夜，正准备关电脑休息，一个运维电话打了进来："救命！

·2025-02-18 18:20

Etcd教程 — 第二章 Etcd集群静态发现_etcd 双节点集群

监听用于和节点之间通信的url，可监听多个，集群内部将通过这些url进行数据交互(如选举，数据同步等)–initial-advertise-peer-urls建议用于和节点之间通信的url，节点间将以该值进行通信

2401_87361150·2025-02-17 08:38

Redis（二十二）：Redis迁移工具

Redis-shake2.Redis-migrate-tool3.Redis-full-check1.Redis-shake1.1简介redis-shake是阿里云Redis&MongoDB团队开源的用于redis数据同步的工具

蓬莱道人·2025-02-17 06:22

阿里云RDS到亚马逊云RDS的实时数据同步方案详解

本文将详细介绍如何实现从阿里云RDSMySQL数据库到亚马逊云RDSMySQL数据库的实时数据同步。这种同步对于数据备份、跨区域数据访问、数据分析等场景都非常有用。

ivwdcwso·2025-02-17 00:33

微服务es搜索关键词，实现关键词高亮，来自黑马头条的总结

为了加快搜索效率从es数据库中查询实现的效果，要求从标题和内容中搜索关键词，然后让关键词高亮步骤ElasticSearch环境搭建索引库创建文章搜索多条件复合查询索引数据同步ElasticSearch环境搭建这些都是死步骤

菜鸡且互啄69·2025-02-16 15:26

华为云计算产品系列 | 云上容灾架构实战部署详解

华为云计算产品系列|云上容灾架构实战部署详解1.前言2.容灾方案介绍2.1.本地高可用2.2.同城双活2.3.主备容灾（同步远程复制/异步远程复制）2.3.1.同步远程复制2.3.2.异步远程复制2.4

降世神童·2025-02-16 04:05

20250214 随笔 Elasticsearch（ES）索引数据 vs. 业务数据库冗余双写

Elasticsearch（ES）索引数据vs.业务数据库冗余双写的区别、优缺点分析在高并发数据查询场景下，Elasticsearch（ES）和业务数据库冗余双写都是常见的数据同步方案。

靈臺清明·2025-02-15 07:49

《手札·数转篇》开源Odoo软件与SKF Observer API钢铁厂双向集成方案

开源Odoo软件提供了强大的维护模块、质量模块和数据采集（数采）模块，结合SKFObserverAPI，可以实现设备状态监测、质量数据同步以及生产数据的实时采集与分析，从而提升钢铁厂的智能化管理水平。

邹工转型手札·2025-02-14 22:06

API全面升级、支持Redis Cluster、MySQL主备...更多新功能等你发现！

KubeBlocksv0.9.0版本正式发布了！KubeBlocksAPI距离发布v1.0更近一步了。APIHighlights构建一个Cluster更像是在用Component“搭积木”！ClusterDefinitionAPI增加了topologies字段，允许Addon开发者提供具有不同拓扑结构的多种部署形态，数据库使用者可以在创建Cluster时通过topology字段来选择。比如说Red

·2025-02-14 13:44

keepalived+mysql主从自动切换_使用keepalived实现对mysql主从复制的主备自动切换

实验环境中用两台主机搭建了一个mysql主从复制的环境，两台机器分别安装了keepalived，用一个虚IP实现mysql服务器的主备自动切换功能.模拟环境：VIP：192.168.1.197：虚拟IP

PTE柒加·2025-02-13 10:03

timescaladb时序数据库高可用docker镜像使用

timescaladb时序数据库高可用docker镜像使用timescaladb时序数据库高可用，基于bitnami/postgresql-repmgrdocker镜像制作，实现数据同步和故障自动转移主备切换

handsomestWei·2025-02-13 10:33

keepalived+timescaladb主备切换高可用方案

keepalived+timescaladb主备切换高可用方案环境和组件依赖ubuntu22.04，docker引擎keepalivedv2.2.4timescaledbdocker镜像wjy2020/

handsomestWei·2025-02-13 09:25

主流国产数据库存储架构层的差异分析

【摘要】因采用的存储架构和技术不同，数据库产品均面临着类似如负载均衡、数据同步、数据恢复等问题和难点。

宋罗世家技术屋·2025-02-13 09:25

MYSQL的BinLog实现主备同步

一般线上的MYSQL的数据库都会有备库，主备库之间的同步都是使用的BinLog日志来实现的。

之诚·2025-02-13 08:48

MySQL8.0 innodb Cluster 高可用集群部署（MySQL、MySQL Shell、MySQL Router安装）

InnoDBCluster组件：MySQLGroupReplication,简称MGR,是MySQL的主从同步高可用方案,包括数据同步及角色选举MysqlShell是InnoDBCluster的管理工具

m0_74824687·2025-02-13 07:06

崖山从0到1系列06-崖山数据库双机高可用环境部署

部署一主一备场景：检查主备服务器的网络通信、时钟等，确保网络通信正常，时钟一致。1.

king01299·2025-02-13 06:27

记一次简单的Oracle离线数据迁移至TiDB过程

实战量化交易理财系统https://edu.csdn.net/course/detail/35475背景最近在支持一个从Oracle转TiDB的项目，为方便应用端兼容性测试需要把Oracle测试环境的库表结构和数据同步到

qq_43479892·2025-02-13 02:24

flink实时集成利器 - apache seatunnel - 核心架构详解

SeaTunnel（原名Waterdrop）是一个分布式、高性能、易扩展的数据集成平台，专注于大数据领域的数据同步、数据迁移和数据转换。

24k小善·2025-02-12 23:38

MySQL数据同步到 Redis 缓存的几种方法

1Mysql查完数据，再同步写入到Redis中缺点1：会对接口造成延迟，因为同步写入redis本身就有延迟，并且还要做重试，如果redis写入失败，还需要重试，那就更费时间了。缺点2：不解耦，如果redis崩了，那直接卡线程了缺点3：如果人为该数据库，那就没法同步了，除非再人为删除对应的Redis，但删除Redis这个过程也有个时间差2Mysql查完数据，通过发送MQ，在消费者线程去同步Redis

陈立浩·2025-02-12 12:49

【生产变更】- 12c及以后 ADG主备切换

【生产变更】-12c及以后ADG主备切换-目录一、概述二、切换前检查2.1检查传输通道和GAP2.2检查延迟时间2.3检查主库V$DATABASE.SWITCHOVER_STATUS三、开始切换3.1验证备库进行切换

圆️️·2025-02-11 14:10

【生产变更】- 11g ADG主备切换步骤

【生产变更】-11gADG主备切换-目录一、概述二、切换前检查2.1检查传输通道和GAP2.2检查延迟时间2.3检查主库V$DATABASE.SWITCHOVER_STATUS三、开始切换3.1主库切换为备库

圆️️·2025-02-11 14:09

关系型数据库主备高可用方案对比笔记

目录标题)数据库高可用性解决方案对比OracleDataGuardMySQL主从复制SQLServerAlwaysOnPGPatroni流复制达梦DMDataWatch人大金仓repmgr表格关系型数据库主备高可用方案对比笔记数据库高可用性解决方案对比

喝醉酒的小白·2025-02-09 16:38

生产环境超实用Shell脚本三

本文将介绍安全加固脚本、数据同步脚本、数据库备份脚本、网站监控脚本、日志分析脚本等的应用场景，并提供相应的示例代码。

·2025-02-09 10:23

图数据库 | 17、高可用分布式设计（上）

在设计高性能、高可用图数据库的时候，从单实例、单节点出发，一般有3种架构演进选项：主备高可用、分布式共识和大规模水平分布式。

XAI嬴图·2025-02-09 03:28

Apache SeaTunnel 2025年1月份社区月报

ApacheSeaTunnel项目正在快速发展，致力于提升数据同步的可扩展性、性能和可靠性。感谢每一位参与其中的社区成员，让我们一同见证SeaTunnel的成长。

·2025-02-08 10:05

一文搞懂 CDC（Change Data Capture）同步原理解析

在容灾场景下，CDC主要实现的是主备间的数据同步，即从主数据库到备数据库的数据实时同步。

SeaTunnel·2025-02-08 01:25

圈子小程序方便快捷安装搭建行业圈子小程序开发前端uniapp+后端php源码

数据同步：无论用户在何种设备上操作，都能实现数据的实时同步，极大增强了用户粘性。互动性：用户可以轻松发帖、回复和点赞，增强平台内部的社交互动。

·2025-02-06 13:37

MySQL主从复制【一般架构】

MySQL复制常用的拓扑结构5）实现主从复制6）MySQL主从复制的状况监测7）生产环境其他常用设置4、示例1）环境准备2）配置主库3）配置从库4）测试1、MySQL主从架构【在主库上进行写入操作，将数据同步到多个从库中

Johnny.G·2025-02-05 19:12

什么是多源异构数据？如何处理多源异构数据？

目录一、多源异构数据的定义二、多源异构数据的种类三、多源异构数据的处理方案1.数据接入2.数据转换3.数据输出4.数据同步四、结语随着数字化转型的深入，企业和社会产生了前所未有的海量数据。

isNotNullX·2025-02-04 08:23

如何在Java中调用Python

DataX是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

梦想画家·2025-02-03 17:17

告警架构高可用怎么做？

Prometheus数据同步：使用Tha

企鹅侠客·2025-02-03 05:39

【技海登峰】Kafka漫谈系列（一）Kafka服务集群的核心组件

Broker是Kafka实际的运行单元，负责请求处理、数据同步、存储主题/分区/消费偏移量等元数据信息，多个Broker分布式部署在不同机器上，

阿阿阿安·2025-02-02 13:49

Redis 主从架构

主节点负责处理写请求，并将数据同步到从节点。读请求可以由从节点处理，从而实现读写分离，提升性能。

Flying_Fish_Xuan·2025-02-02 07:57

Vue3 v-bind 和 v-model 对比

1.基本概念1.1v-bind单向数据绑定从父组件向子组件传递数据简写形式为:1.2v-model双向数据绑定父子组件数据同步本质是v-bind和v-on的语法糖2.基础用法对比2.1表单元素绑定import

傻小胖·2025-02-01 19:34

Flink CDC的安装配置

传统的数据同步工具往往是定时任务，存在时间延迟。而FlinkCDC能实时捕获数据库的变更数据，一旦有数据变化，立即将其同步到目标系统，让数据在各个系统之间保持高度一致，几乎不存在延迟。

我的K8409·2025-02-01 17:23

分享一个列表页和详情页数据同步的方案

今天加入了一个新项目，阅读代码的时候发现了一个列表页和详情页数据同步的方案，之前自己还从来没用过，觉得不错，所以记录下。场景描述用户在列表页，点击某条数据，进入详情页。

·2025-01-31 21:32

使用ScriptRunner对象做sql文件导入时遇到的问题

业务场景:服务端是挂在公网上用来提供数据同步功能,考虑到有可能客户端由于某种情况是不允许连接外网的,所以服务端提供一个接口用来下载全量sql脚本(当然这些数据是某官网公布出来的数据,不考虑数据安全问题)

DamonREN·2025-01-30 06:09

HarmonyOS云开发基础认证

单选答案CloudDB的数据同步模式包括缓存模式和本地模式。应用可以仅使用缓存模式或者本地模式，也可以同时使用缓存模式和本地模式。

牛肉胡辣汤·2025-01-29 23:48

一线大厂的 MQ 组件实现思路和架构设计思路

当然了，在实际大厂里面可能就不止两个集群了，可以是很多个集群，然后集群之间利用federration插件进行数据同步。

java领域·2025-01-29 00:17

鸿蒙学习自由流转与分布式运行环境-价值与架构定义(1)

基于传统OS开发跨设备交互的应用程序时，需要解决设备发现、设备认证、设备连接、数据同步等技术难题，不但开发成本高，还存在安全隐私、兼容性、性能等诸多问题。

技术分享，共享成长·2025-01-28 03:45

分表数据通过canal同步数据

项目使用的canal版本：1.1.4，使用rocketMQ进行消费之前项目中一直是单库单表进行数据同步，后面遇到分表数据也需要进行同步，数据表是用户登录数据：user_login_info_0、user_login_info

·2025-01-28 02:50

【某大厂一面】ThreadLocal如何实现主子线程之间的数据同步

然而，ThreadLocal本身并不直接支持主子线程之间的数据同步。要实现主子线程之间的数据同步，可以结合InheritableThreadLocal或其他机制。

冰糖心158·2025-01-27 13:03

恢复搭建STANDBY-RAC细节满满

切换过程：ORACLE-主备备-Failover，此次单独简述STANDBY-RAC的搭建过程。下载搭建文档：OracleRAC部署STANDBYRAC

two_rain·2025-01-27 13:32

mysql Pxc工作原理_浅谈MySQL-PXC架构

具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。可以基本达到实时同步且相互的关系是对等的，各节点之间各自为主，这种架构不共享任何数据，是一种高冗余架构。

wei小彦·2025-01-27 07:26

Redis主从模式部署

其中，主从复制有如下特点：主数据库可以进行读写操作，当读写操作导致数据变化时会自动将数据同步给从数据库；从数据库一般是只读的，并且接收主数据库同步过来的数据；一个master可以拥有多个slave，但是一个

·2025-01-26 21:42

MySQL 到 ClickHouse 数据同步优化（三）

简述本文主要介绍CloudCanal如何将关系型数据库中数据同步到ClickHouse，默认使用ReplacingMergeTree作为ClickHouse表引擎，链路特点包括：新增_version、_

·2025-01-26 12:26

电商项目-数据同步解决方案（三）商品上架同步更新ES索引库

一、需求分析和业务逻辑主要应用技术有：Feign远程调用，消息队列-RabbitMQ，分布式搜索引擎-ElasticSearch，Eureka，Canal商品上架将商品的sku列表导入或者更新索引库。数据监控微服务需要定义canal监听器，监听商品表的改变，一旦发现商品表内容改变，需要将商品的SPUID发送到消息队列中。实现思路：（1）在数据监控微服务中监控tb_spu表的数据，当tb_spu发生

kong7906928·2025-01-24 14:41

软件测试丨Redis 的数据同步策略以及数据一致性保证

它不仅支持丰富的数据结构，如字符串、哈希、列表、集合等，而且提供了高效的数据同步与一致性保障机制。正因为如此，Redis被广泛应用于缓存、消息队列、实时数据分析等场景。

霍格沃兹测试开发学社测试人社区·2025-01-23 04:47

#HarmonyOS篇：装饰器&LocalStorage&AppStorage

@State装饰器：组件内状态父子Prop父子单向同步Link父子双向同步深层次响应ObservedObjectLink装饰器Observed装饰器使用场景：嵌套对象和数组中进行双向数据同步跨层ProvideProvideConsume

程序员xiaolibao·2025-01-23 03:15

阿里异构离线数据同步工具/平台DataX

DataWorks数据集成我要开发新的插件项目成员Licensehttps://github.com/alibaba/DataXDataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具

boonya·2025-01-22 21:55

推荐频道