meetup技术分享数据同步

技术分享 | Prometheus支持docker容器啦！

Docker简介Docker是以Docker容器为资源分割和调度的基本单位，封装整个软件运行时环境，为开发者和系统管理员设计的，用于构建，发布和运行分布式应用的平台。它是一个跨平台，可移植并且简单易用的容器解决方案。Docker将应用程序与程序依赖都打包到镜像中，保持运行环境的一致性，真正做到“一次构建，随处运行”。普罗米修斯的docker仿真镜像已经打包好了运行普罗米修斯仿真时所需的整个环境，将
阿木实验室·2024-02-03 00:07

数据库运维工作量直接减少 50%，基于大模型构建智能问答系统的技术分享

本文源自百度智能云数据库运维团队的实践，深入探讨了基于大模型构建「知识库智能问答系统」的设计过程和应用。全文包括了总体的技术方案选型、各个模块的设计实现、重点难点问题的突破、以及目前的落地场景应用等。该系统自从内部上线以来，整体的回答准确率达到80%以上，数据库运维工作量直接减少50%：包括80%咨询量，以及20%工单处理工作。1背景随着大模型的飞速发展，AI技术开始在更多场景中普及。在数据库运维
百度智能云技术站·2024-02-02 23:35

DATAX改造支持geometry类型数据同步

数据库使用postgresql安装了postgis插件存储了geometry空间数据，想使用datax做数据同步，但datax本身不支持geometry类型数据，如何改造呢？
今朝花落悲颜色·2024-02-02 22:51

DataX介绍

一、介绍DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
有人看我吗·2024-02-02 18:03

mysql数据库使用mysqlbinlog命令查看数据操作、主从数据同步记录

mysql主从同步时，由于意外的操作，可能会出现下面的错误：CouldnotexecuteUpdate_rowseventontableconfluence.AO_92296B_AORECENTLY_VIEWED;Can'tfindrecordin'AO_92296B_AORECENTLY_VIEWED',Error_code:1032;handlererrorHA_ERR_KEY_NOT_FOU
xiegwei·2024-02-02 17:43

datax 学习记录

OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能
咳咳00·2024-02-02 17:58

datax避坑记录

datax避坑记录先介绍一下datax，dataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。
佛祖保佑永不宕机·2024-02-02 17:28

Redis 之企业级解决方案

②主从之间数据吞吐量较大，数据同步操作频度较高。1.3解决方案：前置准备工作：日常例行统计数据访问记录
一只咸鱼。。·2024-02-02 12:24

Redis的企业级解决方案【缓存预热、雪崩、击穿、穿透】

错峰策略调整缓存击穿概念崩溃过程问题排查问题分析解决方案：预防与监控缓存穿透（注意和击穿区分开）概念崩溃过程问题排查问题分析解决方案缓存预热场景：redis一经启动，很快宕机对应问题：请求数量较高、主从之间数据的吞吐量较大，数据同步操作频度较高
小树上的男爵·2024-02-02 12:23

通过ETLCloud CDC构建高效数据管道解决方案

本文将介绍如何利用ETLCloudCDC技术，构建一套高效的CDC数据管道，实现实时数据同步和分析，助力企业实现数据驱动的业务发展。
RestCloud·2024-02-02 12:49

Redis的核心数据结构以及高性能底层原理

Redis的单线程是指网络IO键值对的读写以及执行命令是由一个线程完成的，但是异步删除、AOF文件重写、持久化以及集群的数据同步都是由其他线程来完成的。Redis单线程为什么还能这么快？
今晚打老虎-lpc·2024-02-02 10:29

redis key命名规范_Redis几个实战经验积累

redis是一种nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈
weixin_39719042·2024-02-02 10:51

使用Logstash将MySQL中的数据同步至Elasticsearch

目录1使用docker安装ELK1.1安装Elasticsearch1.2安装Kibana1.3安装Logstash2数据同步2.1准备MySQL表和数据2.2运行Logstash2.3测试3Logstash
W@#·2024-02-02 07:08

技术分享 | 快速掌握 MySQL 8.0 认证插件的使用

作者：郭斌斌引言MySQL8.0.15版本主从复制时，io线程一直处于connecting状态，由于复制用户使用的认证插件是caching_sha2_password，而想要通过caching_sha2_password认证的用户访问数据库，只有两个途径：使用加密连接使用支持RSA密钥对，进行密码交换的非加密连接之前changemasterto时，未进行配置master_ssl=1（等效于客户端-
爱可生开源社区·2024-02-02 06:47

技术分享 | 灭霸与普罗米修斯之无限存储的高可用方案

作者：王继顺宝尊电商DBA，主要负责数据库监控告警以及自动化平台的设计开发工作，擅长数据库性能调优、故障诊断。背景随着公司各个环境的服务器数量增加，部署有多套Prometheus（包括生产、测试、Tidb、Kubernetes等）集群，在一定集群规模下，普通Prometheus集群的承载能力会出现短板（查询速度慢、OOM、以及存储空间不够等问题）。加上公司需要保存双十一、双十二等活动期间的监控数据
爱可生开源社区·2024-02-02 04:58

攻击面发现流程揭秘

攻击面发现技术分享资产采集主域名发现，通过ICP备案信息发现企业关联主域名信息子域名发现，通过DNS查询、子域名爆破、威胁情报等途径发现子域名资产信息IP发现，通过对域名资产的分析，发现IP资产暴露面发现端口开放性及服务识别网站识别
AtlantisLab·2024-02-02 03:56

Insertion插入排序

原谅我接着偷懒，是真的没有什么写的内容了啊，好怀疑他们那些大佬是怎么那么多的文章和技术分享的，自闭中ing最好情况的时间复杂度是O(n)，最坏情况的时间复杂度是O(n2)，然而时间复杂度这个指标看的是最坏的情况
青衫磊落长歌行·2024-02-02 02:05

SDN实战团分享（一）：OpenStack网络服务数据平面加速

【编者的话】本文系SDN实战团微信群（团主张宇峰@brocade）组织的首次线上技术分享整理而成，由IBM云网络服务团队资深架构师唐刚将其团队内部对于如何在openstack环境下实现高性能的网络服务而做的研究进行分享
丛林溪水鱼·2024-02-01 21:51

智慧工地源码，智慧工地云平台绿色施工环境监测系统

2个应用端：满足用户PC端、移动端数据同步需求；移动端可选多种平台。
淘源之家·2024-02-01 20:41

自然语言大模型介绍

本文是周末技术分享会的提纲，总结了一些自然语言模型相关的重要技术，以及各个主流公司的研究方向和进展，和大家共同学习。2Transformer目前的大模型基本都是Transformer及其变种。
xieyan0811·2024-02-01 18:42

CentOS7 下使用 MyCat 实现 MySQL 读写分离/主从切换

背景最近在研究MySQL数据库读写分离以及数据同步的操作根据知识面的拓宽发现很多有经验的公司和技术前辈都建议使用MyCat来部署数据库的读写分离在此整理鄙人的探索过程，欢迎指摘…首先，要明确一点：“此处
moTzxx·2024-02-01 16:40

0310 高效阅读训练营理论课（一）

秒左右外边蓝色变成黑色，慢慢消失2、眼球转动训练作业（舒尔特训练）练习6次，最佳速度24.234秒，速度有点慢，持续练习舒尔特方格3、快速阅读训练作业故事001用时4分钟，复述60%的内容第二部分镜姐快速阅读技术分享第一次课程思维导图
周京京·2024-02-01 15:07

streampark+flink一键整库或多表同步mysql到doris实战

streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%
京东云技术团队·2024-02-01 12:42

使用Redis-Shake进行Redis集群间的数据同步详细介绍

本介绍主要侧重容灾解决方案，具体业务情况具体分析，欢迎讨论环境与版本安装包下载地址：Indexof/releases/Linux指令wgethttp://download.redis.io/releases/redis-5.0.5.tar.gzRedis版本号：5.0.5操作系统：CentOS7.9RedisShake版本：最新版即可RedisShake下载地址：Releases·alibaba/
张净济·2024-02-01 11:37

《Linux运维总结：使用新版redis-shake3.x进行redis集群间的数据同步【方案一】》

一、redis-shake简介redis-shake是阿里云开源的用于Redis数据迁移和过滤的工具。Github参考：redis-shake简介1.1、迁移工具对比redis-migrate-toolredis-migrate-tool是唯品会开源的一款Redis异构集群之间的数据实时迁移工具，不过已经有两年没有更新了，我个人觉得这是一款比较完善的工具，特别是数据校验。redis-shakeRe
东城绝神·2024-02-01 11:34

【技术分享】PostgreSQL中误删除数据怎么办?(一)

在我们学习完PG的MVCC机制之后，对于DML操作，被操作的行其实并未被删除，只有手工vacuum或自动vacuum触发才会清理掉这些无效数据，也就是死元组。基于这种机制，在发生死元组清理动作之前，只需要将其中不可见的行中的数据解析出来，或者发生脏读，就可以获取到误删除的数据。虽然PG不支持脏读，但今天介绍的pg_dirtyread插件，可以实现脏读。一、安装pg_dirtyread下载地址：Gi
云贝教育-郑老师·2024-02-01 10:53

【YUNBEE云贝技术分享-oracle共享池内存结构】之SQL内存结构父子游标解析

前言数据库版本：Version19.3.0.0.0操作系统版本：CentOSLinuxrelease7.6.1810(Core)实验环境：PDB1一、SQL内存结构父子游标解析以下实验，是连接到pdb下，硬解析一条SQL的过程二、SQL父游标解析2.1、查看SQL的父游标句柄地址和堆0描述地址添加图片注释，不超过140字（可选）x$kglob说明•x$kglob记录SQL的游标句柄信息•KGLHD
云贝教育-郑老师·2024-02-01 10:53

云贝教育【技术分享】PostgreSQL中误删除数据怎么办?（一）

注：本文为云贝教育-刘峰原创，请尊重知识产权，转发请注明出处，不接受任何抄袭、演绎和未经注明出处的转载。在我们学习完PG的MVCC机制之后，对于DML操作，被操作的行其实并未被删除，只能手工vacuum或自动vacuum触发才会清理掉这些无效数据，也就是死元组。基于这种机制，在发生死元组清理动作之前，只需要将其中不可见的行中的数据解析出来，或者发生脏读，就可以获取到误删除的数据。虽然PG不支持脏读
云贝教育-郑老师·2024-02-01 10:22

go mysql transfer_go-mysql-transfer

从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。
廖宝华·2024-02-01 08:40

zookeeper使用分享

通过它可以实现更高级别的服务，用于数据同步、配置维护、服务分组和服务命名等。zookeeper设计考虑了易用性和简单性，它使用了一种类似于文件系统目录树结构的数据模型。
M.Rambo·2024-02-01 06:09

Jenkins插件安装推荐

Jenkins插件安装推荐注：本教程由羞涩梦整理同步发布，本人技术分享站点：blog.hukanfa.com转发本文请备注原文链接，本文内容整理日期：2024-01-31csdn博客名称：五维空间-影子
五维空间-影子·2024-02-01 06:33

浅谈MySQL主从复制

目录1.MySQL主从复制是什么2.MySQL主从复制的意义3.MySQL主从复制原理4.数据同步一致性问题5.实现方式1.MySQL主从复制是什么MySQL主从复制就是指数据可以从一台MySQL的主节点复制到一个或多个从节点
tang_seven·2024-02-01 04:55

详解SpringCloud微服务技术栈：深入ElasticSearch（3）——数据同步（酒店管理项目）

一位大四、研0学生，正在努力准备大四暑假的实习上期文章：详解SpringCloud微服务技术栈：深入ElasticSearch（2）——自动补全、拼音搜索订阅专栏：微服务技术全家桶希望文章对你们有所帮助数据同步
布布要成为最负责的男人·2024-02-01 03:42

详解SpringCloud微服务技术栈：深入ElasticSearch（4）——ES集群

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：详解SpringCloud微服务技术栈：深入ElasticSearch（3）——数据同步（酒店管理项目）订阅专栏：微服务技术全家桶希望文章对你们有所帮助
布布要成为最负责的男人·2024-02-01 03:42

一个观看量超四万的系列视频是怎么来的

这一系列视频的来源是Tubi中国团队每两周一次的内部分享——TubiTalentTime（以下简称TTT），视频主题多元丰富，包括前沿技术分享、职场经验交流，以及生活方方面面的讨论，可谓是一个深入认识Tubi
Tubi Beijing 小助手·2024-02-01 02:52

技术分享 | Update更新慢、死锁等问题的排查思路分享

本文来源：原创投稿*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。内容提纲一、简介二、Update生命周期2.1连接器2.2分析器2.3优化器2.4执行器2.4.1事务执行阶段2.4.2事务提交阶段2.4.3假设事务ROLLBACK三、影响事务提交延迟的几种情况四、Update更新慢的排查思路五、常见问题一、简介在开始排错之前我们需要知道Update在MySQL中的生
老叶茶馆_·2024-02-01 00:36

抖音怎么拍会火？为什么用了网上的教程方法还是不行？

最全的网络营销方法，定期更新项目与技术分享。绿色的信zty0521989备注“滴滴滴”，我是李咪，有缘遇到你。一、短视频的使用场景短视频的使用场景，发生在碎片化的时间？这可能是对短视频的最大误解。
李咪谈创业·2024-01-31 20:40

mysql 双写性能_mysql和redis双写一致性策略分析

mysql和redis双写一致性策略分析一.什么是双写一致性当我们更新了mysql中的数据后也可以同时保证redis中的数据同步更新；数据读取的流程：1.读取redis,如果value!
投资人说·2024-01-31 17:47

Docker 多架构镜像介绍和最佳实践

Docker多架构镜像介绍和最佳实践>更多云原生相关技术分享请关注公众号：CloudNativeOps；添加微信GoOps888，备注‘加群’可加入云原生技术交流群。
BGBiao·2024-01-31 16:17

Docker 多架构镜像介绍和最佳实践

更多云原生相关技术分享请关注公众号：CloudNativeOps；添加微信GoOps888，备注'加群'可加入云原生技术交流群。
BGBiao·2024-01-31 16:14

SaaS 电商设计 (七) 利用 Spring 扩展点 ImportBeanDefinitionRegistrar 实现 toB 系统对接(附源码)

一.业务背景在实际的SaaStoB客户交付过程中,存在一些现有客户系统的对接场景.主要分为以下这两种场景场景1:灰度期间:从客户的既有的老系统交割到新的SaaS系统的数据同步.这时候老系统在实际进行业务流转
柏修的个人笔录·2024-01-31 11:38

shopee虾皮跨境电商网站商品数据支持网站后缀（.com.my；.vn；.ph）

然而，在不同的技术分享中，我们常常会遇到质量参差不齐的文章，有时甚至还会存在错误或虚假信息。因此，本文旨在分享一些技术贴的写作技巧，希望能帮助大家提高技术文章的质量和可信度，让更多人从中受益!
Ace_3175088776·2024-01-31 09:49

Redis06：Redis架构演进

1、主从复制Redis的复制功能支持多个数据库之间的数据同步。通过Redis的复制功能可以很好的实现数据库的读写分离，提高服务器的负载能力。
做一个有趣的人Zz·2024-01-31 05:53

5000 字 | 14 图 | 揭秘 Nacos 的 AP 架构 「Distro 一致性协议」

②如何复制数据到其他节点：当前Nacos节点开启1s的延迟任务，将数据同步给其他Nacos节点。（分区一致性）第②个知识点就是Naco
程序员xysam·2024-01-31 04:22

2018-07-17

技术分享：周一国际现货黄金开盘1242美元位置，最高触及1245美元，也是我们认为上周五从1236美元波神凯线延伸到8线空间的阻力位置不追多，欧美盘一路下跌测试低位1238美元位置，符合我们的看空思路，
丁玥琳_44fc·2024-01-31 02:01

五、Redis 的哨兵机制与哨兵集群

实际上，当主库挂掉了，会有其他从库切换成主库，继续执行写操作，将数据同步给其他从库。那么，这个从库切换成主库的过程，就需要考虑以下几个问题：1
从不中二的忧伤·2024-01-31 01:35

微电影拍摄技术分享会

一、开场介绍德育处赵老师发言：首届爱弥儿电影节“六一”儿童节系列活动：1.培训类（esp:本次分享会）2.观摩类（esp:5月份露天电影）3.体验类4.比赛类5.爱弥儿电影节颁奖典礼（预计5月31日）图片发自App二、微电影技术交流信息技术科许老师发言：1.微电影制作要素及流程图片发自App图片发自App2.学校自制改编微电影作品展播《妈妈的礼物》（根据日本电影故事改编）苏老师发言：1.在小学开展
carrie_zuo·2024-01-30 23:25

spring-bus消息总线的使用

文章目录依赖bus应用接口用到的封装参数类接收的应用监听器定义的事件类使用bus定义bus远程调用A应用数据更新后通过bus数据同步给B应用依赖org.springframework.cloudspring-cloud-starter-bus-amqpbus
zeki豪·2024-01-30 22:11

kafka学习笔记一

第二章Kafka环境搭建&Topic管理第三章Kafka基础API第四章Kafka高级API4.1offset自动控制4.2应答&重试4.3幂等性4.4事务控制第五章Kafka架构进阶5.1数据同步机制
薛薛哦·2024-01-30 21:56

数据质量和治理论

往往需要整个团队或者跨团队协作尽量去处理好这个事情以下是一些方法论数据质量数据质量会带来什么问题：报表数据出错，无人发现数据出现问题，导致推荐等使用数据不准确发现数据问题，但是数据问题源头排查耗时长，导致数据长时间不可用哪些情况会有数据质量问题1.业务源系统变更数据同步或清洗时业务源表结构变化
orange大数据技术探索者·2024-01-30 20:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他