meetup技术分享数据同步

【FLINK】Kafka数据源通过Flink-cdc进行实时数据同步

是ChangeDataCapture的缩写，中文意思是变更数据获取，flink-cdc的作用是，通过flink捕获数据源的事务变动操作记录，包括数据的增删改操作等，根据这些记录可作用于对目标端进行实时数据同步
木棉庭·2024-01-17 18:09

springboot的事务处理，ApplicationEvent的应用

ApplicationEvent2.2监听器的使用2.3触发事务1.ApplicationEvent的应用在springboot项目中，ApplicationEvent的应用会和切面AOP相结合，做一些本身功能以外的事务处理，例如数据同步
你是猪，·2024-01-17 17:03

【MySQL】MySQL 复制

MySQL复制介绍MySQL复制允许将主实例(master)上的数据同步到一个或多个从实例(slave)上，默认情况下复制是异步进行的，从库也不需要一直连接到主库来同步数据。
Bogon·2024-01-17 13:32

面试题总结-MQ总结

数据同步：redis、es与mysql同步异步处理：用于异步场景，比如注册用户，发送优惠券，发送优惠券和
酷寒的小蛮蛮·2024-01-17 13:22

【技术分享】远程透传网关-单网口快速实现西门子S7-300/400 PLC程序远程上下载

准备工作一台可联网操作的电脑一台单网口的远程透传网关及博达远程透传配置工具网线一条，用于实现网络连接和连接PLC一台西门子S7-300/400PLC及其编程软件一张4G卡或WIFI天线实现通讯(使用4G联网则插入4GSIM卡，WIFI联网则将WIFI天线插入USB口）第一步配置静态IP1.将网关通电，用网线将网关和电脑进行连接2.打开控制面板选择与网关相连接的以太网口，在弹框的属性中选择Inter
深圳博达智联·2024-01-17 13:18

【技术分享】远程透传网关-单网口快速实现三菱 Q03UDV PLC程序远程上下载

准备工作一台可联网操作的电脑一台单网口的远程透传网关及博达远程透传配置工具网线一条，用于实现网络连接和连接PLC一台三菱FX5UPLC及其编程软件一张4G卡或WIFI天线实现通讯(使用4G联网则插入4GSIM卡，WIFI联网则将WIFI天线插入USB口）第一步配置静态IP1.将网关通电，用网线将网关和电脑进行连接2.打开控制面板选择与网关相连接的以太网口，在弹框的属性中选择Internet协议版本
深圳博达智联·2024-01-17 13:17

【技术分享】远程透传网关-单网口快速实现三菱 FX3U 网口PLC程序远程上下载

准备工作一台可联网操作的电脑一台单网口的远程透传网关及博达远程透传配置工具网线一条，用于实现网络连接和连接PLC一台三菱FX3UPLC及其编程软件一张4G卡或WIFI天线实现通讯(使用4G联网则插入4GSIM卡，WIFI联网则将WIFI天线插入USB口）第一步配置静态IP1.将网关通电，用网线将网关和电脑进行连接2.打开控制面板选择与网关相连接的以太网口，在弹框的属性中选择Internet协议版本
深圳博达智联·2024-01-17 13:47

【技术分享】远程透传网关-单网口快速实现三菱 FX5U 网口PLC程序远程上下载

准备工作一台可联网操作的电脑一台单网口的远程透传网关及博达远程透传配置工具网线一条，用于实现网络连接和连接PLC一台三菱FX5UPLC及其编程软件一张4G卡或WIFI天线实现通讯(使用4G联网则插入4GSIM卡，WIFI联网则将WIFI天线插入USB口）第一步配置静态IP1.将网关通电，用网线将网关和电脑进行连接2.打开控制面板选择与网关相连接的以太网口，在弹框的属性中选择Internet协议版本
深圳博达智联·2024-01-17 13:45

HashData湖仓一体方案：方案概览与Hive数据同步

随着云计算、大数据、AI的发展和普及，各行各业的业务场景日益复杂，数据呈现出大规模、多样性的特点，企业对数据仓库的需求也进一步拓展至对多元化数据实时处理的场景。数据湖是多元数据存储与使用的便捷选择，而云原生具有数据资产统一、基础资源成本低、高性能计算体验升级等优势，是数据湖未来部署的重要形态。湖仓一体架构结合了数据仓库和数据湖的性能优势，在成本、灵活性、事务一致性、多元数据分析等方面具备显著的优势
HashData酷克数据·2024-01-17 07:55

Kafka 集群部署

目录1、环境准备2、搭建ZooKeeper集群配置文件节点标记环境变量启动集群数据同步测试故障测试3、搭建Kafka集群配置文件环境变量配置其他机器启动服务4、集群测试创建Topic显示Topic配置创建
HuaLuLemon·2024-01-17 07:03

分布式搜索引擎ElasticSearch——深入elasticSearch

数据聚合聚合的分类DSL实现Bucket聚合DSL实现Metric聚合RestAPI实现聚合自动补全DSL实现自动补全查询修改酒店索引库数据结构RestAPI实现自动补全查询实现酒店搜索页面输入框的自动补全数据同步数据同步思路分析利用
shall_zhao·2024-01-17 01:14

强化学习AI构建实战 - 基于“黄金点”游戏（二）

这些工作包括游戏回合的控制、参与者之间的数据同步、游戏数据的储存等功能。为了简化这些基础工作，以便大家可以更好地集中于AI本身的设计和实现，我们搭建了一个服务器提供了一些基本的接口。
人工智能MOS·2024-01-16 19:32

关于vue3中响应式依赖注入provide/inject

关于#vue3中响应式依赖注入场景：适合单组件（多层嵌套组件），解决父组件的响应式数据能够传递给所有子组件（包括孙子组件及以下）优点：数据同步更新，并同步渲染视图，耦合逻辑处理更容易处理，更好的开发体验
浪里小韭菜·2024-01-16 16:36

鸿蒙开发笔记(六):状态管理,组件状态管理 @Provide @Consume, @Observed @ObjectLink

@Provide装饰器和@Consume装饰器：与后代组件双向同步@Provide和@Consume，应用于与后代组件的双向数据同步，应用于状态数据在多个层级之间传递的场景。
ZWaruler·2024-01-16 12:53

DataX&数据同步（全量）

1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
韩顺平的小迷弟·2024-01-16 11:29

Maxwell&数据同步（增量）

1.Maxwell简介1.1Maxwell概述  Maxwell是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以JSON格式发送给Kafka、Kinesi等流数据处理平台。官网地址：http://maxwells-daemon.io/1.2Maxwell输出数据格式
韩顺平的小迷弟·2024-01-16 11:25

微信小程序---WXML 模板语法(附带笔记文档)

事件绑定什么是事件小程序中常用的事件事件对象的属性列表target和currentTarget的区别bindTap的语法格式在事件处理函数中为data中的数据赋值事件传参bindinput的语法格式实现文本框和data之间数据同步
前端小白在前进·2024-01-16 10:57

架构设计内容分享(一百一十七)：基于 raft-listener 实现的 nebula 实时同步的高效双集群主备环境

主备集群要求数据和schema信息实时同步，数据同步平均时延要求在1s之内，p99要求在2s之内。主备集群数据要求一致要求能够在主集群故障时
之乎者也··2024-01-16 06:51

Clickhouse集成离线hive、实时kafka数据实操

clickhouse表1、利用clickhouse的HDFSEngine建表语句三、集成hive建表需要注意的地方（详细解析）1、schema必须要与hive表中一致2、格式要求3、路径解析4、hdfs路径四、关于增量数据同步问题
静听枫语·2024-01-16 05:11

我成为开源贡献者的原因竟然是做MySql-CDC数据同步

今年下半年机缘巧合下公司决定搭建自己的数据中台，中台的建设势必少不了数据集成。首先面临的就是数据集成技术选型的问题，按照社区活跃度、数据源适配性、同步效率等要求对市面上几个成熟度较高的开源引擎进行了深度调研。最终经过内部讨论决定用ApacheSeaTunnel作为数据集成的基础能力。贡献经历在了解ApacheSeaTunnel之前，自己基本没有深入参与过开源项目，大多都是工作需要从而来使用。虽然内
SeaTunnel·2024-01-16 05:09

通过配置文件统一管理路径和展现

前端技术分享之vue打包配置文件背景:有些情况下，我们做的产品需要提供给多个客户使用，而不同的客户又需要通过自己的环境来访问，我们无法要求客户使用统一的环境，那么我们提供的产品就需要支持可配置，于是就有了这个需求
halowyn·2024-01-16 04:31

架构的未来：微前端与微服务的融合

其他专栏：技术分享专栏http://t.csdnimg.cn
懒大王敲代码·2024-01-15 23:22

ERP和MES对接的几种接口方式

一般同步主要包含基础数据和业务数据两大类型：1、基础数据同步1）ERP主动向MES系统发送数据（ERP提供定时推送方法）A、MES系统提供WebService调用接口B、ERP数据采用
万界星空科技·2024-01-15 21:25

FPGA在工业缺陷检测上的应用实践

2.现状3.FPGA在工业缺陷检测中的优势4.FPGA在工业缺陷检测中的应用实践5.主流的检测算法6.工业缺陷检测及应用场景7.FPGA在工业缺陷检测中的未来发展趋势8.方法9.未来发展方向注意：后续技术分享
SteveRocket·2024-01-15 19:20

极智芯 | 解读自动驾驶芯片之英特尔Mobileye EyeQ系列

欢迎关注我的公众号「极智视界」，获取我的更多技术分享大家好，我是极智视界，本文分享一下解读自动驾驶芯片之英特尔MobileyeEyeQ系列。
极智视界·2024-01-15 16:27

iOS如何实现一个线程安全的 NSMutableArray?

EffectiveObjective-C2.0..》书中第41条：多用派发队列，少用同步锁中指出：使用“串行同步队列”（serialsynchronizationqueue），将读取操作及写入操作都安排在同一个队列里，即可保证数据同步
赵哥窟·2024-01-15 12:24

使用JavaScript实现实时在线协作编辑器：从设计到实现

这样的功能需要复杂的技术实现，包括数据同步、冲突解决和实时通信。本篇博客将带您深入了解如何使用JavaScript实现实时在线协作编辑器，并附有相关代码示例。
刻刻帝的海角·2024-01-15 11:26

鸿蒙开发-运行机制-Stage模型

UIAbility组件1.1.UIAbility组件概述1.2.UIAbility组件生命周期1.3.UIAbility组件启动模式1.4.UIAbility组件基本用法1.5.UIAbility组件与UI数据同步
鸿蒙布道·2024-01-15 04:30

HADOOP大数据之HDFS管理与运维

一、HDFS数据迁移解决方案HDFS分布式拷贝工具DistCp数据迁移使用场景：冷热集群数据同步、分类存储集群数据整体搬迁数据的准实时同步数据迁移要素考量带宽性能是否支持增量同步4、数据迁移的同步性image.pngDistCp
奋斗的韭菜汪·2024-01-15 01:33

【深入浅出版】Java全套学习路线规划及配套视频和笔记

在上海有自己小伙伴组建的副业团队，目前业余时间专注Java技术分享，春招/秋招/社招/跳槽，一对一学习辅助，项目接活开发。扫码左侧二维码，加入群聊，一起学习，一起进步！
IT枫斗者·2024-01-15 00:12

激光雷达（LIDAR）和里程计数据的时间同步方法汇总

文章目录激光雷达（LIDAR）和里程计数据的时间同步常用方法的汇总如何使用双缓冲队列来同步激光雷达和里程计数据如何使用插值同步来同步激光雷达和里程计数据代码详细解读1.数据结构定义2.线性插值函数3.数据同步函数激光雷达
小秋SLAM入门实战·2024-01-14 12:15

【linux 多线程并发】线程退出自动清理函数的使用，释放线程申请的资源，异常退出自动调用

线程退出回调函数专栏内容：参天引擎内核架构本专栏一起来聊聊参天引擎内核架构，以及如何实现多机的数据库节点的多读多写，与传统主备，MPP的区别，技术难点的分析，数据元数据同步，多主节点的情况下对故障容灾的支持
韩楚风·2024-01-14 12:38

Docker 的基本概念和优势，以及在应用程序开发中的实际应用。

优质专栏：前端主流技术分享资料领取：前端进阶资料可以找我免费领取摸鱼学习交流：我们的宗旨是在「工作中摸鱼，摸鱼中进步」，期待大佬一起来摸鱼！
SHOW科技·2024-01-14 11:59

Spring Cloud+Spring Boot+Mybatis+shiro+RestFul 企业分布式微服务云架构技术分享

1.介绍Commonservice-system是一个大型分布式、微服务、面向企业的JavaEE体系快速研发平台，基于模块化、服务化、原子化、热插拔的设计思想，使用成熟领先的无商业限制的主流开源技术构建。采用服务化的组件开发模式，可实现复杂的业务功能。提供驱动式开发模式，整合内置的代码生成器，将JavaEE开发效率提高5倍以上，减少50%的代码开发量，解决80%的重复工作，让开发者更关注业务逻辑。
初夏_91fb·2024-01-14 09:26

单机物理机部署Datax

一、概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
DIY……·2024-01-14 07:34

多国管理中心多语言区块链源码一元夺宝程序仿趣步奕跑/原生计步器/原生人脸识别

目前把整体UI改版黄色系风格，集成了一元夺宝程序，用户数据同步趣步，效果看起来很棒，另外加入股票走势图（K线图），目前已经继承人脸识别，对接的百度API，可以在线人脸识别，接入原生计步器，计步效果很好源码下载
软希源码·2024-01-14 06:09

Vue:调用浏览器数据库

在前一段时间写项目的时候，需要本地存储大量数据，需要在客户端进行数据存储、离线访问以及数据同步等，对本地数据的储存和管理非常重要。
梦雨生生·2024-01-14 06:02

如何使用PHP采集大淘客优惠券到网站，同步到WordPress网站

最近在开发一套淘宝客系统软件，在解决各种的问题，导致没有空写文章，看了很多朋友都问这个数据如何导入到数据库里面,那么今天我就以同步大淘客的数据作为例子，讲解一下如何把数据同步到本地数据库中。
Java斌·2024-01-14 06:49

B 站崩了，受害程序员聊聊（非吃瓜B 站事件始末分析 + 防治技术分享）

非吃瓜，B站事件始末分析+防治技术分享昨天小破站崩了的事情相信很多朋友都听说了。这要是搁以前，不爱吃瓜的我根本不会去关注这种事，崩了就崩了呗，反正天塌下来有程序员大佬们扛着，很快就会好的。
Java架构奶思·2024-01-14 03:22

只通过干货学习不靠谱

在看一个关于教学技术分享的视频时，想到如果有人能把这些视频的核心观点总结成干货，分享出来就好了。但是突然又感到不对，希望通过看别人总结的干货获取知识，看似是捷径，但可能是非常不靠谱的学习方法。
燕东浩·2024-01-14 02:54

两难！先更新数据库再删缓存？还是先删缓存再更新数据库？

前言当我们在做数据库与缓存数据同步时，究竟更新缓存，还是删除缓存，究竟是先操作数据库，还是先操作缓存？本文带大家深度分析数据库与缓存的双写问题，并且给出了所有方案的实现代码方便大家参考。
sufu1065·2024-01-13 19:55

Git使用统一规范

feat[data]:mysql数据同步到es上面的提交包含三部分[]:t
程序无涯海·2024-01-13 17:35

分布式锁原理与实战

但在分布式集群工作的开发场景中，那么就需要一种更加高级的锁机制，来处理种跨JVM进程之间的数据同步问题，这就是分布式锁。公平锁和可重入锁的原理最经典的分布式锁是可重入的公平锁。什么是可重入的公平锁呢？
全能程序猿·2024-01-13 12:35

redis复习总结

主节点一旦接收到数据的变更，就会将数据同步至slave节点。但这样的模式下，如果master节点下线，集群不会自动选取主节点。因此redis提供了哨兵机制，用于监控redis集群。
飞哥不鸽·2024-01-13 12:30

达梦数据库使用心得&达梦数据同步软件DMHS

达梦数据库使用心得&达梦数据同步软件DMHS文章目录达梦数据库使用心得&达梦数据同步软件DMHS一、前言二、达梦数据库安装步骤1：运行安装程序步骤2：语言与时区选择步骤3：许可证协议步骤4：选择安装组件步骤
m0_37931210·2024-01-13 12:10

(11)达梦DMHS技术原理及应用介绍

本篇技术分享文章是对达梦DMHS技术原理的学习。1、数据实时同步软件(DMHS)简介达梦数据实时同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。
idmon·2024-01-13 12:09

Flink 实现Mysql的数据同步 Mysql Sink Mysql

FlinkSinkMysql简单实现环境需求解析完整代码源码下载附：flink-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态，实时同步到另一个数据库中。当然使用maxwell或canal也可以实现同样的效果。这里只是简单演示解析创建环境//创建环境valsettings=EnvironmentSettings.new
这都不是事er·2024-01-13 10:07

如何配置Kafka账号密码

背景我们需要与第三方系统进行数据同步，需要搭建公网Kafka，Kafka默认是没有用户密码校验的，所以我们需要配置用户名密码校验。
tao_shen_1108·2024-01-13 09:32

还在为MySQL数据同步Elasticsearch发愁？快来试试Canal！

MySQL数据同步Elasticsearch-Canal本章节将介绍如何使用Canal中间件将MySQL数据同步至Elasticsearch。
人人都在发奋·2024-01-13 08:28

4 种 MySQL 同步 ES 方案，yyds！

本文会先讲述数据同步的4种方案，并给出常用数据迁移工具，干货满满！
架构师小秘圈·2024-01-13 08:26
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他