E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka集群管理工具
Canal同时监控两个mysql的binlog并同步至一个topic中
准备:安装canal(博主canal版本1.1.5)安装
kafka
,做接收binlog日志数据用(博主
kafka
版本2.11)安装两个msyql,相当于两个mysql数据库(博主mysql版本5.1.0
梦见伊兮伊不觉
·
2024-09-06 00:45
大数据
mysql
kafka
canal-adapter消费
Kafka
中MySQL的binlog数据,却没有同步更新Elastic search
背景在同步MySQL数据到ES的场景中,选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况,而且日志没有提示异常(idea启动的时候有错误日志),令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了,但具
iiopsd
·
2024-09-06 00:42
kafka
mysql
java
elasticsearch
字节跳动10万节点HDFS
集群
多机房架构演进之路(1)
如何高效运维如此超大规模的
集群
要回答这些问题需要HDFS从多个方向迭代优化,例如DanceNN的上线、运维平台的建设等,本文不会介绍字节跳动HDFS所有的演进方案,而是聚焦在HDFS多机房架构的演进策略上
2401_84122782
·
2024-09-05 21:23
程序员
hdfs
架构
hadoop
GBase 8c 分布式核心技术—CDC数据同步
作为一款分布式数据库,GBase8c可轻松实现例如两地三中心架构的
集群
异地灾备。GBase8c异地灾备
集群
间的不同节点采用各自对应的高可用部署方式,两地间采用同步或者异步复制的备份方式。
manhuai2022
·
2024-09-05 19:11
GBase
8c
数据库
服务器
java
JavaScript常用前端框架和库浅谈_前端框架设计-js
Vue.js还提供了一种称为VueRouter的路由
管理工具
和Vuex状态管理库。Vue.js的最佳实践包括组件化开发、单文件组件、响应式数据和虚拟DOM等。
2401_84435885
·
2024-09-05 18:06
javascript
前端框架
开发语言
TiDB备份与恢复简介
本文档介绍如何对Kubernetes上的TiDB
集群
进行数据备份和数据恢复。备份与恢复中所使用的工具有Dumpling、TiDBLightning和BR。
每天读点书学堂
·
2024-09-05 18:31
大数据
数据库架构
数据库
数据库开发
运维
腾讯,干掉 Redis 项目,正式开源、太牛逼啦
集群
架构Tendis使用去中心化
集群
架构,每个数据节点都拥有全部的路由信息,用户可以访问集
六月·飞雪
·
2024-09-05 17:53
架构
redis
开源
数据库
腾讯云数据库(Redis)监控最佳指南
云数据库Redis服务兼容Redis2.8、Redis4.0、Redis5.0版本协议,提供标准和
集群
两大架构版本。
Tencent_Monitor
·
2024-09-05 16:21
前端
数据库
javascript
K8s介绍及离线安装
Kubernetes是Google开源的容器
集群
管理系统,使用Golang开发,其提供应用部署、维护、扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下:使用Docker
wang5798
·
2024-09-05 16:51
kubernetes
docker
Kafka
的事务实现
Kafka
的事务
Kafka
的事务解决的问题和RocketMQ是不太一样的。RocketMQ中的事务,它解决的问题是,确保执行本地事务和发消息这两个操作,要么都成功,要么都失败。
Mirana_77
·
2024-09-05 15:43
消息队列
kafka
java
分布式
springboot整合
kafka
文章目录步骤一:添加依赖项步骤二:配置
Kafka
步骤三:创建一个生产者步骤四:创建一个消费者本教程将介绍如何在SpringBoot应用程序中使用
Kafka
。
##明天
·
2024-09-05 15:42
kafka
spring
boot
java
SpringBoot整合
Kafka
安装windows版安装包下载地址:https://
kafka
.apache.org/downloads下载完毕后得到tgz压缩文件,使用解压缩软件解压缩即可使用,解压后得到如下文件建议使用windows
ITBOY_ITBOX
·
2024-09-05 15:42
SpringBoot
kafka
spring
boot
java
1+X云计算运维与开发(中级)实战案例——
Kafka
集群
部署
前言
Kafka
是一种开源的流处理平台和消息系统,被设计用于构建实时数据管道和流式应用程序,可以处理大规模的实时数据流,并提供高吞吐量、持久性存储和分布式处理能力。
kuuuugua
·
2024-09-05 15:41
1+X云计算运维与开发(中级)
云计算
运维
kafka
ORACLE之RAC
集群
常用命令
ORACLE之RAC
集群
常用命令RAC的守护进程/etc/init.d/init.ohasdRAC的日常管理命令1)节点层2)网络层3)
集群
层4)应用层节点层olsnodes-n-p-i--这个命令用来显示
集群
点列表检查
集群
节点
XiaoHG_CSDN
·
2024-09-05 13:01
oracle
数据库
linux系统发行版安装,linux学习笔记(一)Linux的发行版&安装centos7
s.u.s.eSuSE拥有界面友好的安装过程,还有图形
管理工具
。据说是最好看的linux图形界面,但是服务器上少有图形界面,不适合用于服务器。
萌萌爱恋
·
2024-09-05 12:56
linux系统发行版安装
Spark
Spark是一个快速的、通用的
集群
计算系统,主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发,并于2010年开源,后来由Apache软件基金会管理。
傲雪凌霜,松柏长青
·
2024-09-05 11:20
后端
大数据
spark
大数据
分布式
Hadoop-MapReduce机制原理
Reduce阶段步骤:7、MapReduce阶段图1、MapReduce概述 HadoopMapReduce是一个分布式计算框架,用于轻松编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件
集群
H.S.T不想卷
·
2024-09-05 11:46
大数据
hadoop
mapreduce
大数据
kafka
消费者重复消费同一个topic
场景是sparkstreaming消费
kafka
数据在这里sparkstream和
kafka
都是单节点的
集群
模式。同时起两个不同的groupid的应用,发现会发生后起来的应用消费不到数据。
小琳ai
·
2024-09-05 10:06
大数据
kafka
重复消费
consumer
k8s访问外部mysql_Kubernetes连接外部数据源
Kubernetes架构下比较核心的问题是数据如何persistance,虽然提供了Persistentvolumn的方式,但是对于像数据库之类的产品在kubernetes
集群
环境中运行和管理还是很有难度的
健玮
·
2024-09-05 08:24
k8s访问外部mysql
负载均衡的详细说明
当一台服务器的性能达到极限时,我们可以使用服务器
集群
来提高网站的整体性能。那么,在服务器
集群
中,需要有一台服务器充当调度者的角色,用户的
submarineas
·
2024-09-05 08:23
django
2、mysql-canal-zk-
kafka
-es数据同步
方案总体介绍:通过zookeeper管理canal和
kafka
集群
,zk本身也做
集群
配置;通过canal作为mysql的从库实时读取binlog,然后将数据以json格式发送到
kafka
平台,会有一个专门消费
kobe0429
·
2024-09-05 08:01
k8s调度器Scheduler
k8s调度器SchedulerKubernetesScheduler(简称k8sScheduler)是Kubernetes
集群
中的一个核心组件,它负责将Pod调度到合适的Node上运行,以实现
集群
资源的优化分配和负载均衡
条纹布鲁斯
·
2024-09-05 07:51
kubernetes
容器
云原生
大数据生态圈里的一致性算法
Paxos选举算法Paxos是最先解决拜占庭将军问题的算法,利用过半选举的机制,保证了
集群
数据副本的一致性(微服务中服务注册与发
宇宙湾
·
2024-09-05 07:35
学习笔记:服务器的负载均衡
服务器
集群
•处理业务的服务器组成服务器
集群
,对外体现为一台逻辑上的服务器,由FW决定如何分配流量给各个服务器。服务器负载均衡技术的一
TKE_yinian
·
2024-09-05 07:50
centos安装k8s
集群
(kubeadm方式)
目录前言生产环境部署k8s
集群
的两种方式服务器初始化、环境准备使用kubeadm安装k8s(本篇讲解使用kubeadm安装k8s)后记-k8s使用外部etcd
集群
前言环境:centos7.9docker-ce
MssGuo
·
2024-09-05 07:20
kubernetes
centos
kubernetes
Linux运维
Kubernetes学习指南:保姆级实操手册05——配置
集群
HA负载均衡
五、Kubernetes学习指南:保姆级实操手册05——配置
集群
HA负载均衡简介:Keepalived提供VRRP实现,并允许您配置Linux机器使负载均衡,预防单点故障。
小黑_深呼吸
·
2024-09-05 07:17
Kubernetes学习指南
kubernetes
负载均衡
容器
毕业了还是要继续努力呀
作为一个新手测试,目前只是熟悉几个bug
管理工具
,问题跟进、分析能力也算是有了;测试过程算熟悉,但是整体把控还
小菊花麻麻颗糖
·
2024-09-05 06:46
SpringBoot 集成
kafka
,并消费历史事件
SpringBoot集成
kafka
,并消费历史事件消费历史事件上一篇文章我们讲的是SpringBoot集成
kafka
消费最新的事件,如果没有看过的小伙伴可以看这篇文章:SpringBoot集成
kafka
晚枫2000
·
2024-09-05 05:39
kafka学习笔记
spring
boot
kafka
后端
java
spring
docker
运维
Kafka
/
kafka
-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topict1/opt/
kafka
_2.13-3.1.0/bin
墨咖
·
2024-09-05 04:58
笔记
logstash
kafka
input{
kafka
{bootstrap_servers=>"127.0.0.1:9092"topics=>["SCHOOL_AQDL"]group_id=>"logstash-group"consumer_threads
墨咖
·
2024-09-05 03:54
logstash
中间件
服务器
运维
zsh: command not found: ohpm - mac安装ohpm工具 - 鸿蒙开发
OHPM简介:OHPMCLI是鸿蒙生态三方库的包
管理工具
,支持OpenHarmony共享包的发布、安装和依赖管理。
dream9393
·
2024-09-05 02:46
harmonyos
macos
华为
【Docker系列】docker缓存详解
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-05 02:45
s11
Docker系列
docker
缓存
容器
mysql的主从复制延迟问题
mysql的主从复制延迟问题https://blog.csdn.net/qq_41683000/article/details/125436839一主一从,双主双从的mysql
集群
搭建,在单机应用的时候看起来没有问题
wowocpp
·
2024-09-05 00:06
mysql
数据库
EMR组件部署指南
本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8Elasticsearch
Kafka
FlinkZookeeperHBaseHadoopPhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso
·
2024-09-05 00:05
运维
EMR
大数据
开源
运维
k8s——pod详解+harbor镜像拉取(凭据)
k8s——pod详解+harbor镜像拉取(凭据)Pod基础概念在k8s
集群
中pod的使用方式Pod容器的分类pod中的3种容器底层基础容器pause初始化容器(initcontainers)1)概念2
xinheng233
·
2024-09-04 18:30
k8s
k8s
pod
使用MySQL Workbench进行数据库设计与管理
MySQLWorkbench是一款功能强大且广泛使用的数据库设计与
管理工具
,它集成了数据库设计、开发、管理和维护的多种功能。
勤劳兔码农
·
2024-09-04 18:58
数据库
mysql
adb
kafka
集群
搭建
Kafka
集群
搭建一、概念说明它是一个分布式消息系统,由linkedin使用scala编写,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。
java皮皮虫
·
2024-09-04 16:48
kafka
springboot
后台
kafka
kafka测试
kafka集群
springboot集成
Kafka
kafka
:#
kafka
的连接地址(注意,是
kafka
所在服务器的公网ip,不要写成zookeeper的了)bootstrap-servers:localh
Maruko310
·
2024-09-04 16:48
java
Kafka
kafka
spring
boot
java
Kafka
学习
1、
kafka
集群
配置①需要提前配置zookeeper环境②配置环境变量,与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT
nlhkfcdxb
·
2024-09-04 16:48
kafka
学习
分布式
Kafka
~
Kafka
命令行参数使用教程
一、
kafka
-topics.sh1.参数参数描述–bootstrap-server连接的
Kafka
Broker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题
飞Link
·
2024-09-04 15:14
大数据
kafka
zookeeper
分布式
kafka
单条消息太大引起的线上故障
问题现象1.收到日志异常报警,一个Flink任务写入
kafka
消息出现了异常,异常消息如下org.apache.flink.streaming.connectors.
kafka
.Flink
Kafka
Exception
ab342173024
·
2024-09-04 15:44
线上故障篇
java
多图详解
kafka
生产者消息发送过程
:fire:《
Kafka
运维管控平台LogiKM》:fire::pencil2:更强大的管控能力:pencil2::tennis:更高效的问题定位能力:tennis::sunrise:更便捷的
集群
运维能力
JAVAQXQ
·
2024-09-04 15:13
java
kafka
开发语言
kafka
---- producer与broker配置详解以及ack机制详解
一、producer配置1、bootstrap.servers
kafka
broker
集群
的ip列表,格式为:host1:port1,host2:port2,…2、client.id用于追踪消息的源头3、
husterlichf
·
2024-09-04 15:41
#
kafka
kafka
java
分布式
kafka
单条消息过大发送失败
一、背景生产环境中使用
kafka
作为消息队列,生产者发送消息失败,查询报错日志,得到如下输出:Causedby:org.springframework.
kafka
.
Kafka
Exception:Sendfailed
hungteshun
·
2024-09-04 15:11
kafka
分布式
【Kubernetes 】k8s常用单词
下面列出了一些Kubernetes中常见的术语及其英文单词、音标(使用国际音标符号)和解释,以及相应的中文翻译:Pod/pɒd/Kubernetes中最小的可创建、可调度的单元,它代表
集群
中的一个运行实例
划过手的泪滴t
·
2024-09-04 14:36
云计算运维
每日一练
Kubernetes
kubernetes
容器
云原生
【MySQL数据库管理问答题】第14章 使用 MySQL InnoDB
集群
实现高可用性
目录1.结合“体系结构”,请说明你对InnoDB
集群
的整体认知。2.请对组复制的原理和功能做一个完整的描述,并说明组复制有哪些先决条件和限制。
summer.335
·
2024-09-04 14:31
MySQL
MySQL数据库管理问答题
数据库
mysql
【Python技术学习】- python pip
pip是Python包
管理工具
,该工具提供了对Python包的查找、下载、安装、卸载的功能。软件包也可以在PyPI·ThePythonPackageIndex中找到。
xiaoli8748_软件开发
·
2024-09-04 13:30
python技术学习
python
学习
pip
Redis:支撑高并发及高可用复杂的缓存架构
这里写目录标题一、企业级Redis
集群
架构二、(nginx+lua)+redis+ehcache的三级缓存架构三、数据库+缓存双写一致性解决方案四、大key:缓存维度拆分解决方案五、如何提高缓存的命中率一
玉成226
·
2024-09-04 12:51
【Redis】
缓存
redis
架构
基础学习之——Kubernetes
它提供了一个高度可扩展的架构,允许用户在
集群
中运行和管理大量的容器。
北欧人写代码
·
2024-09-04 11:44
kubernetes
容器
java.io.InvalidClassException(spark任务运行失败)
背景:客户
集群
内偶尔会出现java.io.InvalidClassException:org.apache.kudu.spark.kudu.KuduRDD;localclassincompatible:
LATASA
·
2024-09-04 09:30
spark
java
大数据
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他