Kafka高可用第10页

架构设计之服务分级

为了确保游戏的高可用性

你一身傲骨怎能输·2025-02-18 19:04

消息队列简述

当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及

八二年的栗子·2025-02-18 18:39

kafka搭建

文章目录前言一、kafka是什么？

瀟湘夜雨-秋雨梧桐·2025-02-18 15:19

Spring Boot 整合 Kafka 详解

前言：上一篇分享了Kafka的一些基本概念及应用场景，本篇我们来分享一下在SpringBoot项目中如何使用Kafka。

码农爱java·2025-02-18 15:17

深入浅出了解HBase及RDD编程

HBase为什么能存储海量数据创建一个HBase表配置Spark编写程序读取HBase数据编写程序向HBase写入数据关于搭建HBase高可用集群的图文教程，可参考我的另一篇博文——安装并配置HBase

山海王子·2025-02-18 03:11

MongoDB副本集

副本集架构对于mongodb来说，数据库高可用是通过副本集架构实现的，一个副本集由一个主节点和若干个从节点所组成。

hzulwy·2025-02-18 02:59

什么是GaussDB

同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。应用场景交易型应用大并发、大数据量

如清风一般·2025-02-17 22:11

redis sentinel模式与 redis 分片集群配置

模式高可用性数据分片部署复杂度适用场景Sentinel模式高无中等中小规模，需要高可用性集群模式高支持复杂大规模，需要高可用性和数据分片RedisSentinel模式（在主从复制的基础上引入Sentinel

癸酉金鸡·2025-02-17 22:36

linux 搭建kafka集群

ipnode1192.168.72.132node2192.168.72.133node3192.168.72.1342、安装jdklinux环境安装jdk_openjdk1.8.0_345-CSDN博客3、下载kafka

节点。csn·2025-02-17 21:04

从零构建高可用MySQL集群：Percona XtraDB Cluster 实战部署

实战指南：基于PerconaXtraDBCluster构建高可用MySQL集群架构引言：为什么选择PXC？

Deutsch.·2025-02-17 20:49

mysql8.0使用PXC实现高可用（Rocky8.0环境）

目录搭建PXC集群配置hosts解析用MySQL软件模块的命令（三台都需要）下载PXC安装包启用PXC80版本安装PXC集群初始化数据库第一个节点需要以引导模式启动：查看临时密码修改密码免密登录查询集群信息查看证书修改证书查询集群信息同步状态监控节点2,3无需修改密码节点下线搭建PXC集群PerconaXtraDBCluster(简称PXC)集群是基于Galera2.xlibrary，事务型应用下

致奋斗的我们·2025-02-17 19:13

区块链上的“SQL”

作为一个混合型数据库系统，它结合了高可用、NoSQL数据库的扩展性以及传统SQL数据库的一致性和可用性。

趣链科技·2025-02-17 18:03

【Redis系列】Redis安装与使用

m0_74825409·2025-02-17 17:53

Flink在指定时间窗口内统计均值，超过阈值后报警

物联网设备的数据从kafka中读取，配置数据从mysql中读取，有个管理后台可以调整窗口和阈值大小。2、思路使用flink的双流join，配置数据使用广播流，设备数据使用普通流。

小的~~·2025-02-17 17:49

【动态路由】系统Web URL资源整合系列（后端技术实现）【apisix实现】

反向代理功能（描述：apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、kafka-map

飞火流星02027·2025-02-17 07:23

Apache ZooKeeper 分布式协调服务

1.1定义与定位核心定位：分布式系统的协调服务，提供强一致性的配置管理、命名服务、分布式锁和集群管理能力核心模型：基于树形节点（ZNode）的键值存储，支持Watcher监听机制生态地位：Hadoop/Kafka

slovess·2025-02-17 04:33

Redis

目录一、Redis基础知识数据持久化高可用性和扩展性性能优化应用场景二、Redis的Java常用客户端JedislettuceRedisson三、Redis实战Jedis1.添加依赖2.基本使用例子3.

Lin_Miao_09·2025-02-17 04:30

深入理解Kafka—如何保证Exactly Once语义

作者：禅与计算机程序设计艺术1.简介Kafka是一种高吞吐量、分布式、可分区、多副本的消息系统。它在使用上非常灵活，可以作为Pulsar、RabbitMQ的替代品。

AI天才研究院·2025-02-17 03:22

【kafka系列】生产者

目录发送流程1.流程逻辑分析阶段一：主线程处理阶段二：Sender线程异步发送核心设计思想2.流程关键点总结重要参数一、核心必填参数二、可靠性相关参数三、性能优化参数四、高级配置五、安全性配置（可选）六、错误处理与监控典型配置示例关键注意事项发送流程序列化与分区：消息通过Partitioner选择目标分区（默认轮询或哈希），序列化后加入RecordAccumulator缓冲区。批次合并：Sende

漫步者TZ·2025-02-17 02:21

【kafka系列】broker

目录Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程Broker处理消费者消息的核心流程关键点总结Broker接收生产者消息和返回消息给消费者的流程逻辑分析Broker处理生产者消息的核心流程接收请求Broker的SocketServer接收来自生产者的ProduceRequest（基于Reactor网络模型）。请求解析与验证解析请求头（Topic、P

漫步者TZ·2025-02-17 02:21

【kafka系列】如何选择消息语义？

目录业务权衡如何选择消息语义？业务权衡维度At-Most-OnceAt-Least-OnceExactly-Once消息丢失风险高低无消息重复风险无高无网络开销最低（无重试）中等（可能重试）最高（事务+协调）适用场景可容忍丢失的实时数据流不允许丢失的日志采集金融交易、精准统计如何选择消息语义？At-Most-Once：优先性能与低延迟，接受数据丢失（如实时监控）。At-Least-Once：优先可

漫步者TZ·2025-02-17 02:49

实战探析：云数据库 RDS SQL Server 版的优点与应用案例

实战探析：云数据库RDSSQLServer版的优点与应用案例背景：随着云计算技术的不断发展，越来越多的企业开始将数据库迁移到云端，以降低成本、提高可用性和灵活性。

步入烟尘·2025-02-17 00:01

kafka动态监听主题

简单版本importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.kafka.core.ConsumerFactory

S Y H·2025-02-16 23:27

架构设计中的消息队列和事件驱动通信

背景介绍在现代软件系统架构设计中，消息队列和事件驱动通信已成为构建灵活、可扩展和高可用系统的基石。

AI大模型应用之禅·2025-02-16 22:21

【kafka系列】Exactly Once语义

目录1.Exactly-Once语义的定义2.Kafka实现Exactly-Once的机制3.端到端Exactly-Once示例场景描述3.1生产者配置与代码3.2消费者配置与代码4.异常场景与Exactly-Once

漫步者TZ·2025-02-16 19:57

高可用（HA）架构

http://aokunsang.iteye.com/blog/2053719浅谈web应用的负载均衡、集群、高可用(HA)解决方案http://zhuanlan.51cto.com/art/201612

weixin_34344403·2025-02-16 17:41

20.LMAX——DDD的极致性能架构

sid=1940048&ctype=0文章目录历史起源架构目标架构要素时序对比传统时序事件溯源时序LMAX时序单线程非阻塞异步IO（reactor）多线程单线程事件溯源高可用方案代价总结优点缺点适用范围历史

MQLYES·2025-02-16 12:06

etcd入门指南：分布式事务、分布式锁及核心API详解

etcd是一个高可用、分布式的键值存储系统。主要用作分布式系统中的独立协调服务。旨在保存可完全放入内存中的少量数据。Raftetcd基于Raft共识算法，保证了分布式环境下的数据一致性。

zhangj1125·2025-02-16 09:43

【Golang学习之旅】Go 语言微服务架构实践（gRPC、Kafka、Docker、K8s）

文章目录1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战1.2为什么选择Go语言构建微服务架构2.Go语言简介2.1Go语言的特点与应用2.2Go语言的生态系统3.微服务架构中的gRPC实践3.1什么是gRPC？3.2gRPC在Go语言中的实现1.前言：为什么选择Go语言构建微服务架构1.1微服务架构的兴趣与挑战随着互联网技术的飞速发展，尤其是云计算的普及，微服务架构已经成为

程序员林北北·2025-02-16 09:40

集群与分片：深入理解及应用实践

分片的定义分片的类型集群与分片的关系集群的应用场景负载均衡高可用性分片的应用场景大数据处理数据库分片集群与分片的架构设计系统架构设计数据存储设计案例分析Hadoop集群Elasticsearch分片性能优化策略集群性能优化分片性能优化挑战和解决方案总结参考资料引言在现代计算系统中

一休哥助手·2025-02-16 09:07

AWS ECS Fargate 实现批量启用部署断路器

如果新版本任务无法正常运行,部署断路器将自动停止部署并回滚到先前的稳定版本,从而确保服务的高可用性。启用部署断路器是一种最佳实践,可以降低由于新任务定义部署失败而导致的服务中断风险。

flybirding10011·2025-02-16 07:54

Golang使用redis实现分布式锁(redigo框架)

选型Redis的原因Redis高效且具备高可用性，当提供分布式锁服务的基础组件

DDDerek~·2025-02-16 07:53

java 缓存篇2

缓存的部署方式单机主从哨兵集群特性主从（Master-Slave）哨兵（Sentinel）集群（Cluster）数据分片不支持不支持支持，基于slot进行水平分片高可用性部分支持（手动故障转移）高可用性

dzl84394·2025-02-16 06:48

zipkin备忘

server安装https://zipkin.io/pages/quickstart.html这里提供了几种安装方式当天他可以吧数据方存cassandra，kafka，es，等地方服务器直接下载curl-sSLhttps

dzl84394·2025-02-16 06:18

云创智城充电系统：基于 SpringCloud 的高可用、可扩展架构详解-多租户、多协议兼容、分账与互联互通功能实现

在新能源汽车越来越普及的今天，充电基础设施的管理和运营变得越来越重要。云创智城充电系统，就像一个超级智能管家，为新能源充电带来了全新的解决方案，让充电这件事变得更方便、更高效、更安全。一、厉害的技术架构，让系统稳稳当当云创智城充电系统用了很厉害的技术，搭建出一个又稳又能不断变大变强的架构。它就像一个大商场，每个区域都有自己的功能，还能随时根据需求扩建。这个系统用SpringCloud和Spring

云创智城-yuncitys·2025-02-16 05:38

华为云计算产品系列 | 云上容灾架构实战部署详解

华为云计算产品系列|云上容灾架构实战部署详解1.前言2.容灾方案介绍2.1.本地高可用2.2.同城双活2.3.主备容灾（同步远程复制/异步远程复制）2.3.1.同步远程复制2.3.2.异步远程复制2.4

降世神童·2025-02-16 04:05

org.apache.kafka.common.errors.TimeoutException

个人博客地址：org.apache.kafka.common.errors.TimeoutException|一张假钞的真实世界使用kafka-console-producer.sh向远端Kafka写入数据时遇到以下错误

一张假钞·2025-02-16 03:56

kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用

一、两款工具对比功能用途kafka-console-consumer.sh是简单的命令行消费者工具，主要用于在控制台显示从Kafka主题消费的消息，适用于测试生产者是否正常发送消息、查看消息格式等调试场景

WilsonShiiii·2025-02-16 03:56

消息队列随笔 3-抽象配置(spring-cloud-stream-rabbit)

0.慢慢的做梦…十五.SpringCloud极简入门-SpringCloudStream消息驱动(版本有些过时了)SpringCloudStream进阶配置——高可用（二）——死信队列rabbitmq-client

肯尼思布赖恩埃德蒙·2025-02-16 03:55

RocketMQ与kafka如何解决消息积压问题？

主要介绍两款产品RocketMQ和Kafka的解决方式，以及其差异，本质上的差异就是RocketMQ与Kafka之间的存储结构差异带来的，基本的处理思路还是怎么控制生产

一个儒雅随和的男子·2025-02-16 03:54

浅聊MQ之Kafka与RabbitMQ简用

Kafka与RabbitMQ的使用举例Kafka的使用举例安装与启动：从ApacheKafka官网下载Kafka中间件的运行脚本。

天天向上杰·2025-02-16 03:24

浅聊MQ之Kafka、RabbitMQ、ActiveMQ、RocketMQ持久化策略

以下是主流消息队列（Kafka、RabbitMQ、ActiveMQ、RocketMQ）的持久化策略详解及实际场景示例：1.Kafka持久化策略核心机制：日志分段存储：每个Topic分区对应一个物理日志文件

天天向上杰·2025-02-16 03:24

深入浅出 Spring Cloud 微服务：架构、核心组件与应用实践

随着互联网应用规模的扩大和复杂度的提升，传统的单体架构难以满足企业对于高并发、高可用性和快速迭代的需求。微服务架构成为一种解决方案，帮助企业将应用拆分为多个小型服务模块，各模块独立开发、部署和扩展。

风亦辰739·2025-02-15 22:19

《Python全栈开发：构建高并发物联网数据中台实战》

系统采用微服务架构，核心功能包括：百万级设备并发接入（基于MQTT协议）实时流数据处理（ApacheKafka+Faust）时序数据存储（InfluxDB+Redis）智能告警引擎（规则引擎+机器学习）

放氮气的蜗牛·2025-02-15 22:15

redis的哨兵模式和集群模式

Redis的哨兵模式（SentinelMode）和集群模式（ClusterMode）是两种常见的高可用部署方式，它们各有优缺点，适用于不同的场景。

阿湯哥·2025-02-15 20:33

什么是Redis哨兵机制?

1000道互联网大厂Java工程师精选面试题-Java资源分享网Redis哨兵机制（RedisSentinel）是Redis提供的一种高可用性解决方案，它用于监控、通知、自动故障转移和配置管理。

java1234_小锋·2025-02-15 08:00

Redis Sentinel（哨兵）模式介绍

Redis哨兵模式：详解高可用性解决方案引言随着互联网应用的快速发展，系统对可靠性和高性能的要求越来越高。

WeiLai1112·2025-02-15 07:56

隨筆 20241023 Kafka 事务

Kafka事务概述原子性要求：在需要将数据同时发送到多个broker中的不同分区时，使用事务可以确保这些操作具备原子性，确保要么全部成功，要么全部失败。

靈臺清明·2025-02-15 07:18

ClickHouse创建分布式表

由于是涉及到分布式存储，保证高可用就必须有数据冗余—即副本(replica)。Clickhouse依靠ReplicatedMergeTree引擎族与Zookeeper实现了

期待着2013·2025-02-15 06:41

SpringBoot分布式应用程序和数据库在物理位置分配上、路由上和数量上的最佳实践是什么？

多区域部署：在多个地理区域部署应用实例，确保高可用性和灾难恢复能力。CDN使用：通过CDN分发静态资源，进一步降低延迟。2.路由最佳实践：负载均衡：使用负载

陈老师还在写代码·2025-02-15 04:28

推荐频道

Kafka高可用