Kafka架构设计

Kafka 为什么会消息堆积？

Kafka定期清理Partition，但消息堆积（backlog）依然可能发生，主要是因为Kafka的清理机制和消息消费进度是两回事。我们可以用一个快递仓库的类比来解释。
忍者算法·2025-03-02 23:00

聊一聊 IM 要如何提升用户体验？

聊一聊IM要如何进行架构设计？聊一聊IM要如何进行技术选型？聊一聊IM要如何保证安全性？聊一聊IM要如何保证扩展性？聊一聊IM要如何实现运维与监控？聊一聊IM要如何提升用户体验？
·2025-03-02 21:59

聊一聊 IM 要如何提升用户体验？

聊一聊IM要如何进行架构设计？聊一聊IM要如何进行技术选型？聊一聊IM要如何保证安全性？聊一聊IM要如何保证扩展性？聊一聊IM要如何实现运维与监控？聊一聊IM要如何提升用户体验？
·2025-03-02 21:27

Pulsar 学习目录

当时的其他消息系统（包括Kafka），都不能满足Yahoo的需求，比如大集群多租户、稳定可靠的IO服务质量、百万级Topic、跨地域复制等，因此Pulsar应运而生。
编码的三叔·2025-03-02 20:39

教育培训APP开发全攻略：从网校系统源码搭建到功能优化的技术方案

一、教育培训APP开发的核心架构教育培训APP的架构设计是其能否顺利运行和扩展的基础。在设计过程中，需要考虑到用户数量、数据存储、信息安全、系统响应速度等多个因素。因此，架构的选择至关重要。
万岳科技程序员小金·2025-03-02 18:53

因果推断在智能广告中的实践

文章目录因果推断在智能广告中的实践-系统架构设计1.需求分析1.1功能需求1.2非功能性需求2.系统概述2.1高层次系统描述2.2主要组件及关系2.3系统核心流程3.详细架构设计3.1数据收集模块
AI天才研究院·2025-03-02 18:50

Rabbit MQ 高频面试题【刷题系列】

二、Kafka、ActiveMQ、RabbitMQ、RocketMQ有什么优缺点？三、解耦、异步、削峰是什么？四、消息队列有什么缺点？五、RabbitMQ一般用在什么场景？
Microi风闲·2025-03-02 15:22

Llama 2架构深度解析：Meta开源的70B参数大模型设计哲学

一、架构设计理念Llama2作为Meta开源的商用级大语言模型，其架构设计体现了三大核心原则：效率优先：在7B/13B/70B参数规模下保持线性计算复杂度扩展性强化：通过改进注意力机制支持4k上下文长度安全性内嵌
AI时代已来！·2025-03-02 14:46

《阿里游戏高可用架构设计实践》读后感

《阿里游戏高可用架构设计实践》读后感在文章当中我印象最深刻的一句话是“高可用的系统是设计出来的，不是靠运维保障出来的！”游戏出现故障会有很多原因，并不是说除了程序Bug以外，可能其他都是运维背黑锅了。
weixin_34343689·2025-03-02 14:11

【赵渝强老师】Kafka的消费者与消费者组

消费者就是从Kafka集群消费数据的客户端，下图展示了一个消费者从主题中消费数据的模型。上图展示的是单消费者模型。单消费者模型存在一些问题。
·2025-03-02 13:17

前端架构设计

最近在拜读一本《前端架构设计》的书，该书讲到前端架构师的用户是开发人员。所选择的工具、编写的代码、创建的流程，都是为了让开发人员能够构建出最高效的、不出错的、可扩展的和可持续优化的系统。
weixin_34266504·2025-03-02 10:42

华为数通Datacom认证体系详解：从HCIA到HCIE的进阶路径

一、数通Datacom课程体系华为数通Datacom认证分为三个级别，逐级递进，覆盖从网络基础到架构设计的全技能栈：HCIA-Datacom:华为认证数通工程师（初级）掌握基础网络搭建与运维能力HCIP-Datacom
武汉誉天·2025-03-02 09:32

基于架构的软件设计（Architecture-Based Software Design, ABSD）

本篇博客将介绍基于架构的软件设计的基础、主要活动及其输入输出，帮助软件架构师更好地理解和应用架构设计。2.基于架构的软件设计的基础ABSD方法的核心在于如何从系统需求出发，建立合
丰年稻香·2025-03-02 07:42

从零到一：利用DeepSeek构建高精度图像分类模型实战解析

DeepSeek作为国产自研的深度学习框架，凭借其高效计算优化和灵活架构设计，在ImageNet等基准测试中展现出与PyTorch、TensorFlow等主流框架相媲美的性能。
一碗黄焖鸡三碗米饭·2025-03-02 06:03

在线教育平台架构设计

作者：禅与计算机程序设计艺术1.简介随着互联网的飞速发展，电子商务蓬勃发展，在线教育也成为火热话题。在线教育公司在做教育培训方面已经占据了大量的市场份额，他们通过各种方式让学习者在网上获得知识、技能和工具，提升个人能力。近年来，在线教育平台产品数量越来越多，复杂度也在不断增加，平台需要具备高可用、可扩展性、安全性、成本效益等优秀特性。因此，如何设计一个合适的在线教育平台，成为一个重要的课题。本文将
AI天才研究院·2025-03-02 05:30

软件架构设计：架构风格

一、架构风格概述定义架构风格是对软件系统整体结构和组织方式的抽象描述，提供了一套通用的设计原则和模式。作用提高系统的可维护性、可扩展性和可复用性。帮助开发团队在设计和实现过程中保持一致性和规范性。常见架构风格分层架构、MVC架构、微服务架构、事件驱动架构、管道-过滤器架构等。二、常见架构风格详解1.分层架构（LayeredArchitecture）特点：将系统划分为多个层次，每层只与相邻层交互。典
Chief395·2025-03-02 02:38

GBase 8a从Kafka的Topic加载数据使用样例

GBase8a支持从Kafka加载数据，本文介绍该功能的使用方式并提供样例。GBase8a当前支持单次加载，以及以类似定时任务的形式自动加载。
老紫竹·2025-03-02 00:21

《Kafka 理解： Broker、Topic 和 Partition》

Kafka核心架构解析：从概念到实践Kafka是一个分布式流处理平台，广泛应用于日志收集、实时数据分析和事件驱动架构。
频繁输入，积极输出·2025-03-01 23:48

基于 Elasticsearch 和 Milvus 的 RAG 运维知识库的架构设计和部署落地实现指南

最近在整理一些业务场景的架构设计和部署落地实现指南先放一个【基于RAG的运维知识库(ElasticSearch+Milvus)的详细实现指南】，其中包含了详尽的技术实现细节、可运行的示例代码、原理分析、
ViniJack·2025-03-01 21:02

Kafka系列之：记录一次源头数据库刷数据，造成数据丢失的原因

Kafka系列之：记录一次源头数据库刷数据，造成数据丢失的原因一、背景二、查看topic日志信息三、结论四、解决方法一、背景源头数据库在很短的时间内刷了大量的数据，部分数据在hdfs丢失了理论上debezium
快乐骑行^_^·2025-03-01 18:12

SQL 大厂面试题目（由浅入深）

今天给大家带来一份大厂SQL面试覆盖：基础语法→复杂查询→性能优化→架构设计，大家需深入理解执行原理并熟悉实际业务场景的解决方案。
egekm_sefg·2025-03-01 12:02

【六祎 - Note】消息队列的演变，架构图；备忘录； IBM MQ,RabbitMQ,Kafka,Pulsar

RabbitMQ架构与IBMMQ不同，更类似于Kafka的概念。生产者向指定交换类型的交换发布消息。它可以是直接、主题或扇出。然后，交换中心根据不同的消息属性和交换类型将消息路由到队列中。
鞠崽23333·2025-03-01 08:02

消息队列之 RabbitMQ基本流程

市面上的消息队列产品有很多，比如老牌的ActiveMQ、RabbitMQ，目前我看最火的Kafka，还有ZeroMQ，去年底阿里巴巴捐赠给Apache的RocketMQ，连redis这样的NoSQL数据库也支持
搬砖养女人·2025-03-01 08:31

Redis 架构与设计

Redis是一种开源的高性能内存键值数据库，其架构设计围绕简单、快速和高效展开。1.Redis的核心架构Redis是一个基于C语言编写的单线程内存数据库，但通过多路复用实现了高效的并发处理。
yuguo.im·2025-03-01 06:13

大模型时代的软件架构设计

随着大模型的广泛应用，软件架构设计面临着前所未有的挑战和机遇。大模型时代的软件架构设计，不仅需要解决传统软件架构所面对的问题，如性能、可靠性和可扩展性等，还需要应对大模型带来的新挑战，如计
AI天才研究院·2025-03-01 05:36

游戏任务系统模块架构设计分析

本文将详细介绍一个高扩展、高性能、高可配置的C#语言任务系统模块的架构设计和实现。2.需求分析2.1功能需求任务创建与管理：支持创建、更新、删除任务。任务分配：支持将任务分配给玩家。
你一身傲骨怎能输·2025-03-01 04:58

Quickwit获取Kafka数据源消息

创建索引后，可以使用CLI命令quickwitsourcecreate添加源，支持的源有：file、kafka、kinesis、pulsar。
不会飞的小龙人·2025-03-01 03:19

kafka-leader -1问题解决

一.问题：在Kafka中，leader-1通常表示分区的领导者副本尚未被选举出来，或者在获取领导者信息时出现了问题。
xiao-xiang·2025-03-01 03:17

玩转Java微服务：架构设计与实战进阶终极指南

摘要本文深入解析Java微服务核心原理与落地实践，涵盖SpringCloudAlibaba生态体系实战技巧。通过全链路代码示例演示服务注册发现、分布式配置、熔断限流等关键模块实现，结合电商案例阐述DDD领域驱动设计在微服务拆分的应用。提供可落地的性能优化方案与云原生演进路线，助您构建高可用、易扩展的现代化分布式系统。关键词：Java微服务、SpringCloud、分布式架构、容器化部署、服务治理一
Light60·2025-03-01 02:44

DeepSeek技术全景解析：架构创新与行业差异化竞争力

一、DeepSeek技术体系的核心突破架构设计：效率与性能的双重革新Multi-headLatentAttention(MLA)：通过将注意力头维度与隐藏层解耦，实现显存占用降低30%的同时支持4096
二进制coder·2025-03-01 01:40

（5-3）DeepSeek多模态大模型架构：Janus-Pro模型

5.3.1解耦视觉编码Janus-Pro模型在架构设计上继承并优化了Janus的核心理念——视觉编码的解耦，这种设计通过分离多模态理解任务和
码农三叔·2025-02-28 18:21

阿里架构师推荐的消息中间件万字文档：RocketMQ+RabbitMQ+KafKa

RocketMQ思路起源于Kafka，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景市面上真正适合学习的RocketMQ
xiaohao718·2025-02-28 14:53

kafka stream对比flink

KafkaStreams和ApacheFlink虽然都支持实时计算，但它们的定位、架构和适用场景存在显著差异。选择哪一个取决于具体的需求、场景和技术栈。
后季暖·2025-02-28 14:23

001 Kafka入门及安装

Kafka入门及安装文章目录Kafka入门及安装1.介绍Kafka的基本概念和核心组件2.安装1.docker快速安装zookeeper安装kafka安装添加topic删除topickafka-ui安装
陌殇殇·2025-02-28 14:23

基于docker-compose部署kafka、SASL模式【密码校验模式】

基础部署组件Zookeeper注册中心Kafka消息中心Kafka-ui可视化web界面创建目录#进入到主目录cd/usr/localhost#创建docker文件夹mkdirdocker#进入docker
Ya.mo·2025-02-28 14:22

【kafka】Kafka leader -1

文章目录1.概述2.问题现象3.解决方案4.题外话5.威胁案例6.正解1.概述转载：https://blog.csdn.net/u013933879/article/details/90055546参考：Kafka
九师兄·2025-02-28 14:50

Leader总是-1，怎么解决？

重启Controller节点上的Kafka进程，让其他节点重新注册Controller角色，但是如上面ZooKeeper的作用你要知道为什么Controller可以自动注册。
jasen91·2025-02-28 14:19

消息队列概要讲解（下）

本文不会过多的扩展详细的消息队列系统，如RocketMQ、RabbitMQ、Kafka等，这些会在后续系列文章中详细介绍。
Good Note·2025-02-28 14:49

kafka-web管理工具cmak

一.背景：日常运维工作中，采用cli的方式进行kafka集群的管理，还是比较繁琐的(指令复杂？)。为方便管理，可以选择一些开源的webui工具。推荐使用cmak。
xiao-xiang·2025-02-28 14:49

docker-compose创建kafka支持SASL_PLAINTEXT

#1mkdirconfmkdirconf#2createfilezoo.cfgcat>conf/zoo.cfgconf/server_jaas.conf.envdocker-compose.yml<<-"EOF"name:"P1"version:"3"networks:net:driver:bridgeservices:zookeeper_sasl:image:wurstmeister/zooke
dipherxu·2025-02-28 14:49

最全docker-compose部署kafka、SASL模式(密码校验模式)_system

Client{org.apache.zookeeper.server.auth.DigestLoginModulerequiredusername="admin"password="123456";};Server{org.apache.zookeeper.server.auth.DigestLoginModulerequiredusername="admin"password="123456"u
2401_84182428·2025-02-28 14:17

消息队列（RocketMQ+Kafka）

基础什么是消息队列：具备生产者，消费者，消息队列的场景应用场景：异步（电商订单的创建、支付、发货流程）解耦削峰填谷（淘宝的双十一）需解决的问题：消息重复（唯一ID，幂等）消息丢失（ack确认机制，死信队列）消息堆积（增加消费者，增加消费能力，增加集群分担）高可用（集群，主从，多副本）高性能（集群，分区，多机部署，负载均衡）RocketMQ整体架构视频：小白debug的视频面试题：CSDN上找的一篇
八千里路云和月laiker·2025-02-28 14:16

（七）消息队列-Kafka 序列化avro（传递）

（七）消息队列-Kafka序列化avro（传递）客从远方来，遗我双鲤鱼。呼儿烹鲤鱼，中有尺素书。
平凡君·2025-02-28 12:03

kafka-关于ISR-概述

Kafka中通常每个分区都有多个副本，其中一个副本被选举为Leader，其他副本为Follower。ISR是指与Leader副本保持同步的Follower副本集合。
xiao-xiang·2025-02-28 11:58

【AI+智造】基于阿里云Ubuntu24.04系统，使用Ollama部署开源DeepSeek模型并集成到企业微信

一、方案背景与架构设计1.技术选型背景DeepSeek模型：作为开源大模型，支持文本生成、智能问答等场景，适合企业知识库与自动化服务。
邹工转型手札·2025-02-28 10:46

C++游戏开发系列教程之第二篇：面向对象编程与游戏架构设计

大家好，欢迎回到C++游戏开发系列教程！在第一篇中，我们介绍了C++游戏开发的基本概念和如何搭建一个简单的游戏循环，为新手打开了C++游戏开发的大门。本篇博客将深入讲解面向对象编程（OOP）在游戏开发中的重要性，以及如何设计一个简单而有效的游戏架构。通过本篇文章，你将学到如何利用C++的类与继承构建游戏中的各个对象（如玩家、敌人等），并结合游戏循环实现一个基础的游戏状态管理系统。所有代码均附有详细
放氮气的蜗牛·2025-02-28 08:03

Python—kafka操作

文档结构1、概念简介2、环境搭建3、操作实践1、概念简介2、环境搭建接口手册：https://kafka-python.readthedocs.io/en/master/Python操作kafka的模块为
蓝魔Y·2025-02-28 07:49

python使用kafka原理详解_Python操作Kafka原理及使用详解

Python操作Kafka原理及使用详解一、什么是KafkaKafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制二
形象顧問Aking·2025-02-28 07:19

python调用kafka

先启动hadoop，zookeeper，kafka启动命令hadoop启动命令sbin/start-all.shzookeeper启动命令.
smile__su·2025-02-28 06:47

Spring Boot 集成 Kafka

Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种场景。而SpringBoot作为一种流行的Java开发框架，提供了便捷的方式来构建应用程序。
m0_74823471·2025-02-28 06:47
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他