E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kafka高可用
服务发现的艺术:Eureka中实现分布式服务目录
标题:服务发现的艺术:Eureka中实现分布式服务目录在微服务架构中,服务的动态发现和注册是确保系统
高可用
性和可扩展性的关键。
代码之光_1980
·
2024-09-09 00:52
服务发现
eureka
云原生
MHA
高可用
配置及故障切换
MHA概述一套优秀的MySQL
高可用
环境下故障切换和主从复制的软件MySQL故障过程中,MHA能做到0~30秒内自动完成故障切换MHA的组成MHAManager(管理节点)MHANode(数据节点)MHA
最新小梦
·
2024-09-08 23:45
scala
开发语言
后端
Spring常用中间件
(2)
Kafka
:分布式流处理平台,适合处理大规模数
贺仙姑
·
2024-09-08 23:15
spring
中间件
java
Redis分布式
不同的分布式机制各自适用于不同的场景,提供了从简单的
高可用
性到复杂的水平扩展能力。
Flying_Fish_Xuan
·
2024-09-08 21:34
mongodb
数据库
ClickHouse 分布式部署、分布式表创建及数据迁移指南
配置和管理4.1配置监控4.2数据备份数据迁移5.1导出5.2导入部署ClickHouse集群QuantumInsights的部署将基于一个
高可用
的分布式ClickHouse集群,以实现对大规模数据的高效处理和
努力做一名技术
·
2024-09-08 21:03
clickhouse
分布式
LVS+keepalived+nginx搭建
高可用
负载均衡集群(详细配置步骤讲解)
一.准备工作首先我们要准备四台虚拟机如下表所示:主机IPMASTER192.168.204.130192.168.204.208(VIP)real_server1192.168.204.135real_server2192.168.204.137BACKUP192.168.204.1381.在主机和备机上都要安装LVS和keepalived:安装LVS:yuminstallipvsadm-y安装k
纵享山河万里
·
2024-09-08 20:54
linux
nginx
史上最全LVS+keepalived+nginx基于DR模式
高可用
安装部署
史上最全LVS+keepalived+nginx基于DR模式
高可用
安装部署lvs+keepAlived→效率最高的负载均衡在大型网站中一般服务端会做集群,同时利用负载均衡器做负载均衡。
徐兴强的博客
·
2024-09-08 19:21
负载均衡
服务器
linux
nginx负载均衡优化和
高可用
代理和负载均衡的区别代理负责把连接请求直接转发到后台某个web节点负载均衡负责把请求使用某种调度算法分散发布给后台所有web节点1.配置nginx代理服务器lb1lb1:192.168.8.10web1:192.168.8.20web2:192.168.8.30(1)启动lb1,安装nginxyum-yinstallepel-releaseyum-yinstallnginxsystemctlsta
小bug大问题
·
2024-09-08 19:49
架构学习
nginx
负载均衡
运维
linux
服务器
学习
构建可扩展的淘客返利系统架构设计与实现
在构建淘客返利系统的架构时,我们需要考虑到系统的可扩展性、
高可用
性和性能。本文将详细讨论如何设计和实现一个可扩展的系统架构,以应对日益增长的业务需求和流量。
wx_tangjinjinwx
·
2024-09-08 18:14
系统架构
如何拿下TCP(数据库交付运维高级工程师TDSQL(MySQL版))认证
各组件的功能,以及启停方法掌握TDSQL(MySQL版)数据库实例的基本操作与使用方法掌握TDSQL(MySQL版)集群的基本操作与使用方法掌握TDSQL(MySQL版)实例备份恢复原理与操作使用,以及
高可用
方案的实现掌握
小伟C_C
·
2024-09-08 18:14
数据库
【Python系列】中位数计算
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,
kafka
,Spring,微服务等常用开发工具系列:常用的开发工具
Kwan的解忧杂货铺@新空间代码工作室
·
2024-09-08 15:24
s2
Python
python
开发语言
Spring Cloud构建微服务架构(六)
高可用
服务注册中心
在SpringCloud学习中,我们搭建了一个单节点的服务注册中心,但是一旦发生了故障整个服务就瘫痪了,所以在实际应用中,我们需要搭建
高可用
注册中心。在Eureka中,是通过集群来解决这个问题。
ApesKingMan
·
2024-09-08 12:40
ES elasticsearch集群入门
1介绍使用单机的版的elasticsearch可以完成检索,但是如果要实现
高可用
的话,就需要搭建集群。集群不仅可以实现
高可用
,也能实现海量数据存储的横向扩展。
小P聊技术
·
2024-09-08 12:40
程序员职场:3 大原则让你的编程之路越走越顺,新手来了解一下
说它容易,是因为掌握一些基本的数据类型和条件语句,就可以实现复杂的逻辑;说它不容易,是因为高性能
高可用
的代码,需要了解的知识有很多很多;编程的世界,也跟扫雷游戏的世界一样,充满雷区,十面埋伏,一不小心,
Cproblem
·
2024-09-08 12:09
Kafka
、RabbitMQ、RocketMQ 之间的区别是什么
Kafka
、RabbitMQ、RocketMQ之间的区别是什么?
m0_67394230
·
2024-09-08 07:54
面试
学习路线
阿里巴巴
android
前端
后端
优化Docker容器技术实现MySQL主从复制部署的策略与实践
优化Docker容器技术实现MySQL主从复制部署的策略与实践引言随着大数据和云计算的快速发展,数据库的
高可用
性、可扩展性和易维护性成为了企业IT架构中的重要考量因素。
天蓝蓝23528
·
2024-09-08 06:19
docker
mysql
容器
Kafka
高性能揭秘 —— sequence IO、PageCache、SendFile的应用详解
大家都知道
Kafka
是将数据存储于磁盘的,而磁盘读写性能往往很差,但
Kafka
官方测试其数据读写速率能达到600M/s,那么为什么
Kafka
性能会这么高呢?
大数据学习与分享
·
2024-09-08 05:12
Kafka
kafka
大数据
java
Docker
高并发集群eleme后端登录模块1、数据库1.主从复制(
高可用
)2.传统的主从复制3.gtids事务型的主从复制4.注意(1)server_id唯一(2)8.x版本需要get_ssl_pub_key(3
WPFwpf_
·
2024-09-08 05:08
docker
容器
运维
8.12(LVS负载均衡)
://www.linuxvirtualserver.org,现在lvs已经是linux内核标准的-部分,使用lvS可以达到的技术目标是:通过linux达到负载均衡技术和linux操作系统实现一个高性能
高可用
的
WPFwpf_
·
2024-09-08 05:08
lvs
负载均衡
运维
pyspark
kafka
mysql_数据平台实践①——Flume+
Kafka
+SparkStreaming(pyspark)
蜻蜓点水Flume——数据采集如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用手段之一(logstash也是这方面的佼佼者)。下面介绍一下Flume的基本构造。Agent:包含Source、Channel和Sink的主体,它是这3个组件的载体,是组成Flume的数据节点。Event:Flume数据传输的基本单元。Source:用来接收Event,并将Event批量传
weixin_39793638
·
2024-09-08 04:34
pyspark
kafka
mysql
Spring Boot 2.x实战94 - 事件驱动3 -
Kafka
与
Kafka
Streams
3.
Kafka
Apache
Kafka
以Topic为导向,提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装
Kafka
使用dockercompose安装Apache
Kafka
。
汪云飞记录本
·
2024-09-08 02:50
Spring
Boot2.x实战全集
spring
boot
kafka
kafka
streams
KafkaListener
基于
Kafka
实现分布式事件驱动
事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一是它为系统提供了很好的扩展能力,比如我们可以对某类事件增加一个订阅者来对系统进行扩展,最主要的是我们并不需要修改任何已有的代码,它完全符合开闭原则;二是它实现了模块间的低偶合,系统间各个部分不是强依赖
weixin_33785972
·
2024-09-08 02:48
大数据
java
数据库
深入剖析 RabbitMQ:架构深度解析、原理细节与关键特性全面掌握
摘要:本文深入探讨了RabbitMQ这一开源消息代理的各个方面,包括其架构设计、工作原理、关键特性如延迟消息、死信队列、
高可用
性、消费限流、去重策略、消息持久化和事务性操作等。
马丁的代码日记
·
2024-09-08 01:43
开发语言
后端
MySQL8.0.33 主主复制
高可用
部署
一、服务器规划1.1服务器详情主机名IP配置备注MySQLMasterVIP10.0.0.10虚拟IP跳转MySQL连接地址MySQLMaster0110.0.0.112H4GMySQLMaster0210.0.0.122H4G1.2修改主机名##修改各主机的主机名如:10.0.0.11服务器[root@localhost~]#hostnamectlset-hostnamemysqlmaster0
努力冲
·
2024-09-08 00:42
mysql
adb
mysql 8.0
高可用
_MySQL 8.0 MGR(组复制)
高可用
VIP切换脚本
MySQL8.0MGR(组复制)
高可用
VIP切换脚本发布时间:2020-07-1401:26:18来源:51CTO阅读:1687作者:hcymysqlMySQL8.0MGR(组复制)
高可用
VIP切换脚本简介
错过整个世界
·
2024-09-08 00:11
mysql
8.0
高可用
k8s API资源对象
API资源对象Deployment最小的资源是pod,deployment是多个pod的集合(多个副本实现
高可用
、负载均衡等)。使用yaml文件来配置、部署资源对象。
大江东去了吗
·
2024-09-07 15:31
kubernetes
容器
云原生
pyflink 滚动窗口实例
写在前头:更多大数据相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟
kafka
生产者发送数据——>flink对
kafka
数据实时计算处理——>处理后的数据发送到
kafka
1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
【Flink】Flink 写入到 CSV BucketingSink 的使用方法
1.概述【File】CSV文件写入追加写入CsvWriter的使用有一个需求是这样的,flink读取
kafka
数据,然后写入到csv,但是写入的时候,要求写入一个文件,然后在监听到配置文件变化的时候,将写入到另外一个文件
九师兄
·
2024-09-07 15:00
大数据-flink
flink
BucketingSink
csv
MYSQL双主双从,使用Keepalived双机热备+LVS
高可用
群集
MYSQL双主双从,使用Keepalived双机热备+LVS
高可用
群集文档只记录Keepalived+LVS+mysql主从,不包含检验,如需检验,请自行添加web服务器一、IP规划服务器IP备注master1192.168.100.131master2
幽月静语
·
2024-09-07 13:21
乱七八糟
mysql
第五章
Kafka
构建TB级异步消息系统
第五章
Kafka
构建TB级异步消息系统1、阻塞队列模拟阻塞队列publicclassBlockingQueueTest{publicstaticvoidmain(String[]args){//容量为10
跟风。
·
2024-09-07 13:48
仿牛客社区论坛
kafka
java
分布式
kubernetes集群下部署
kafka
+zookeeper单机部署方案
背景:注:在kubernetes集群上部署单机版的zookeeper+
kafka
服务,是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn
·
2024-09-07 12:17
消息队列服务
kubernetes
kafka
zookeeper
Kafka
,构建TB级异步消息系统
:使用数据的线程实现类ArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等2.
Kafka
Fern977
·
2024-09-07 12:15
牛客论坛学习笔记
kafka
java
分布式
仿论坛项目--
Kafka
,构建TB级异步消息系统
Kafka
入门•
Kafka
简介
Kafka
是一个分布式的流媒体平台。
HUT_Tyne265
·
2024-09-07 12:14
kafka
分布式
探索Java中的分布式消息队列与事件总线:架构、实现与最佳实践
引言在现代分布式系统中,消息队列和事件总线已经成为实现松耦合、高扩展性和
高可用
性架构的关键组件。无论是微服务架构、事件驱动架构,还是实时数据处理,消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天
·
2024-09-07 08:14
分布式
java
分布式
架构
大数据系列 |
Kafka
架构分析及应用
大数据系列|
Kafka
架构分析及应用1.消息系统介绍2.
Kafka
原理分析3.
Kafka
架构分析4.
Kafka
的安装与配置4.1.Zookeeper集群安装配置4.2.安装
Kafka
集群4.3.配置
kafka
降世神童
·
2024-09-07 07:42
大数据技术专栏
大数据
kafka
架构
SpringBoot+
Kafka
+ELK 完成海量日志收集(超详细)
SpringBoot项目准备引入log4j2替换SpringBoot默认log,demo项目结构如下:pomIndexController测试Controller,用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%X{applicationName}]三个字段值NetUtil启动项目,访问/index和/ero接口,可以看到项目中生成了app
2401_83703797
·
2024-09-07 00:25
程序员
spring
boot
kafka
elk
Kafka
Broker处于高负载状态(例如消息处理量大或系统资源不足),无法及时响应消费者的请求
Causedby:org.apache.
kafka
.common.errors.TimeoutException:Timeoutof60000msexpiredbeforethepositionforpartitionactivity
战族狼魂
·
2024-09-06 22:42
消息队列
java
kafka
分布式
Kafka
常用的传输和序列化数据方式
Kafka
常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。
傲雪凌霜,松柏长青
·
2024-09-06 21:38
后端
大数据
kafka
分布式
Redis&MQ
优点:异步、解耦、削峰缺点:系统可用性降低、系统复杂性提高、数据一致性问题引入MQ后,MQ宕机导致业务系统受影响,必须保证MQ的
高可用
引入MQ后,需要保证消息不丢失,保证不重复消费、消费的幂等性、顺序消费
`Oracle`
·
2024-09-06 20:35
MQ
redis
rabbitmq
kafka
kafka
3.7.1 单节点 KRaft部署&测试发送和接收消息
一、环境准备
kafka
3.7.1包下载地址:https://mirrors.nju.edu.cn/apache/
kafka
/3.7.1/
kafka
_2.13-3.7.1.tgzopenjdk11.0.2
运维小弟| srebro.cn
·
2024-09-06 19:51
openeuler
kafka
运维
运维
云原生
81.MySQL-PXC
高可用
集群
1.第一个节点启动。Linux7:my.cnf文件需要拷贝到:/etc/my.cnf(非常重要)[root@mysql51~]#mysqlpxcbootstrap-pxcBootstrappingPXC(PerconaXtraDBCluster)InitializingMySQ[OK]se:StartingMySQL(PerconaXtraDBCluster)..[OK]当前集群只有一个节点。my
戒掉贪嗔痴(薛双奇)
·
2024-09-06 15:58
数据库运维-MySQL
mysql
数据库
LVS基本介绍
使用LVS可以达到的技术目标是:通过LVS达到的负载均衡技术和Linux操作系统实现一个高性能
高可用
的Linux服务器群集,它具有良好的可
weixin_34144450
·
2024-09-06 15:57
前端
操作系统
ldap
ViewUI
Kafka
如何保证消息不丢失
1、生产者1.1丢失原因:
kafka
生产端异步发送消息后,不管broker是否响应,立即返回,伪代码producer.send(msg),由于网络抖动,导致消息压根就没有发送到broker端;
kafka
阳光倾洒
·
2024-09-06 15:55
Kafka
kafka
分布式
java
学习
开发语言
mysql8.0使用PXC实现
高可用
MySQL8.0使用PXC实现
高可用
1.概述官方文档:PerconaXtradbCluster8.0DocumentationPXC(PerconaXtraDBCluster)是一个开源的
高可用
性、高性能的
帽子运维笔记
·
2024-09-06 15:24
数据库
运维
mysql
数据库
Kafka
如何保证数据不丢失?不重复
1.
高可用
型配置:acks=all,retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点:这样保证了producer端每发送一条消息都要成功
优秀后端工程师
·
2024-09-06 15:23
Java程序员
kafka
linq
分布式
Mysql-PXC
高可用
Docker部署
mysqlha部署方案PXC环境#127.16网段作为测试网络dockernetworkcreate--subnet=172.16.0.0/16--driverbridgehfnet网段应用宿主映射说明172.19.129.98宿主host172.16.10.1:3306mysql3316172.16.10.2:3306mysql3326172.16.10.3:3306mysql3336172.1
haifengat
·
2024-09-06 15:22
docker
大数据
mysql
负载均衡
docker
MySQL
高可用
--PXC
.PXC(PerconaXtradbCluster)Percona:基于MySQL数据库已二次开发的数据库产品xtradb:存储引擎Cluster:集群1.1概念:PXC是属于一套比较完美的MySQL
高可用
集群解决方案
行走的猫儿
·
2024-09-06 15:52
MySQL
【
Kafka
专栏 11】深入理解
Kafka
的网络线程模型:是谁在幕后“操纵”数据流?
作者名称:夏之以寒作者简介:专注于Java和大数据领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-
kafka
专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍
Kafka
的基本概念、核心组件和使用场景
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
如何查看当前的gruop_id 的
kafka
消费情况 这个可以查看到是否存在消费阻塞问题
如何查看当前的gruop_id的
kafka
消费情况这个可以查看到是否存在消费阻塞问题命令如下:/
kafka
/bin/
kafka
-consumer-groups.sh--bootstrap-server127.0.0.1
树下水月
·
2024-09-06 08:02
kafka
分布式
kafka
单机安装
kafka
单机安装下载地址官网:https://
kafka
.apache.org/最新版本下载页面:https://
kafka
.apache.org/downloads说明版本选择:3.0.0,
kafka
shuair
·
2024-09-06 08:02
kafka
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他