消息队列--kafka 第28页

Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free

老耿·2024-01-22 06:02

JAVA高性能有界内存队列－Disruptor 简介及使用示例

它比Java中另外一个非常常用的内存消息队列ArrayBlockingQueue（ABS）的性能，要高一个数量级，可以算得上是最快的内存消息队列了。它还因此获得过Oracle官方的Duke大奖。

BossFriday·2024-01-22 00:39

深入剖析：Kafka流数据处理引擎的核心面试问题解析75问（5.7万字参考答案）

Kafka是一款开源的分布式流处理平台，被广泛应用于构建实时数据管道、日志聚合、事件驱动的架构等场景。本文将深入探究Kafka的基本原理、特点以及其在实际应用中的价值和作用。

danci_·2024-01-22 00:08

【Linux】Linux进程间通信（四）

Sherry的成长之路学习社区：Sherry的成长之路（个人社区）专栏链接：Linux长路漫漫浩浩，万事皆有期待上一篇博客：【Linux】Linux进程间通信（三）文章目录systemV进程间通信SystemV消息队列消息队列的基本原理消息队列数据结构消息队列的创建消息队列的释放向消息队列发送数据从消息队列获取数据

Sherry的成长之路·2024-01-21 23:42

intellij idea 编译 kafka 源码

以下是针对kafka1.1.1版本编译流程及在idea中启动的步骤从GitHub网站，gitclonekafka源码下载安装好gradle，scala进入kafka项目目录，执行gradleidea如果出现如下

专职掏大粪·2024-01-21 20:52

Linux中如何实现定时任务

一般实现的方法有几种：使用RocketMQ、RabbitMQ、Pulsar等消息队列的延时投递功能使用Redisson提供的DelayedQueue有一些方案虽然广为流传

千锋·2024-01-21 20:47

java常见面试题：如何使用Java进行JCA（Java Connector Architecture）编程

资源适配器通常用于连接企业信息系统（如数据库、消息队列等），并提供了与这些系统进行交互的端点。

广寒舞雪·2024-01-21 18:54

java常见面试题：如何使用Java进行JMS（Java Message Service）编程？

它允许应用程序通过消息队列或主题进行通信。

广寒舞雪·2024-01-21 18:24

Kafka事务分析

Kafka幂等性Kafka幂等性含义幂等性起初是在HTTP协议中定义，是指一次和多次请求同一个资源对资源本身应当具有同样的效果。

WestC·2024-01-21 17:26

Java面试题

一、项目面试题-消息队列背景：在分布式系统中是如何处理高并发的。由于在高并发的环境下，来不及同步处理用户发送的请求，则会导致请求发生阻塞。

突然好想你之路在脚下·2024-01-21 17:46

Flink容错机制（二）

状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink和Kafka

大数据阿嘉·2024-01-21 17:12

Kafka为什么在消息积压时不能直接通过消费者水平扩容来提升消费速度?

我们知道当消息生产者生产的速度快于消费者的消费速度时，会产生大量的消息积压，大多数人的想法是增加消费者的数量来提升消费速度，这个想法在RocketMQ中是可行的，但是在Kafka中不一定可行。

coffee_babe·2024-01-21 16:36

Kafka 消息不能正常消费问题排查

订单宽表数据不同步事情的起因是专员在zeapp上查不到订单了，而订单数据是从mysql的order_search_info查询的，order_search_info表的数据是从oracel的BZ_ORDER_INFO表同步过来的，查不到说明同步有问题首先重启，同步数据，问题解决，然后查找原因。首先看日志，有如下两种情况有的容器消费消息的日志正常打印有的容器很长时间没有消费消息的日志（看着像是消息丢

Java识堂·2024-01-21 16:05

消息中间件之Kafka(二)

1.Kafka线上常见问题1.1为什么要对topic下数据进行分区存储?

coffee_babe·2024-01-21 16:04

nsq源码解读之nsq_to_file

研究nsq_to_file的代码有助于理解nsq消息队列的工作流程。

高稚商de菌·2024-01-21 16:30

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。

超越不平凡·2024-01-21 15:27

消息队列之RocketMQ

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加消息队列之RocketMQ提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、RacketMQ

键盘敲烂~~~·2024-01-21 14:16

RocketMQ集群搭建

如何生成可参考右边的帮助文档文章目录系列文章目录前言一、多master模式部署步骤二、主从异步复制模式部署步骤三、主从同步双写模式部署步骤总结前言提示：这里可以添加本文要记录的大概内容：无论你是开发人员、架构师还是系统管理员，搭建一个高效可靠的消息队列集群对于应用

键盘敲烂~~~·2024-01-21 14:16

kafka 同步、异步发送

kafkaproducer默认是异步发送：在初始化producer实例时，会创建一个sender线程负责批量发送消息producer将消息暂存在缓冲区，消息根据topic-partition分类缓存消息达到

陆阳226·2024-01-21 13:59

SpringBoot成神之路--22.rabbitMQ的底层配置实现及单播广播测试及消息队列的监听及注解AmqpAdmin的使用（二）

目录一、springboot项目整合rabbitMQ1、创建springboot项目2.rabbitMQ的底层配置实现3.单播测试测试发送消息测试接收消息序列号json数据发送4.测试广播5.消息队列的监听测试

键盘林·2024-01-21 13:44

Redis

用set5.消息队列。适用于医院排号用list46.分布式锁。微服务中用三、Redi

_杨·2024-01-21 12:42

go里面几个并发案例

1、用golang写一个消息队列，通过channel多协程实现，一个写队列多个读队列typeMessageQueuestruct{musync.Mutexqueuechanstringreaders[]

IT民工锦里·2024-01-21 12:10

【征服Redis12】redis的主从复制问题

Redis是一个高性能的键值存储系统，广泛应用于Web应用、缓存、消息队列等领域。在实际应用中，为了保证Redis的高可用性，通常需要使用主从复制来进行数据备份和故障转移。

纵横千里，捭阖四方·2024-01-21 11:31

Redis学习指南(14)-Redis的过期时间介绍

Redis是一个开源的内存数据存储系统，广泛用于缓存、消息队列、会话存储和排行榜等应用场景。在Redis中，过期时间是一项非常重要的功能，它可以控制键值对在何时被自动从内存中移除。

俞兆鹏·2024-01-21 09:06

kafka（一）——简介

简介Kafka是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。

却道天凉_好个秋·2024-01-21 07:21

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

Key-Key·2024-01-21 07:19

kafka入门(九)：kafka分区分配策略

kafka分区分配策略参数：Kafka提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。

乐之者v·2024-01-21 07:19

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

第4章：KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[

Key-Key·2024-01-21 07:18

11、Kafka ------ Kafka 核心API 及生产者API 讲解

目录Kafka核心API及生产者API讲解★Kafka的核心APIKafka包含如下5类核心API：★生产者APIKafka的API文档★使用生产者API发送消息Kafka核心API及生产者API讲解官方文档

_L_J_H_·2024-01-21 07:48

消息队列RabbitMQ.01.基本使用

目录RabbitMQ的作用Messagequeue释义问题思考存在的问题优化方案案例分析带来的好处消息队列特点Email邮件案例分析Docker安装部署RabbitMQ1.下拉镜像2.运行RabbitMQ3

暴躁小段额·2024-01-21 07:42

《我想进大厂》之MQ夺命连环11问

继之前的mysql夺命连环之后，我发现我这个标题被好多套用的，什么夺命zookeeper，夺命多线程一大堆，这一次，开始面试题系列MQ专题，消息队列作为日常常见的使用中间件，面试也是必问的点之一，一起来看看

艾小仙人·2024-01-21 07:17

ELK 日志分析系统

目录一、日志管理方案二、完整日志系统基本特征三、ELK简介ELK组件：1、ElasticSearch2、Logstash3、Kibana可以添加的其它组件：1、Filebeat2、缓存/消息队列（redis

luochiying·2024-01-21 07:04

大数据之Kafka架构的核心组件及其功能

ApacheKafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。

转身成为了码农·2024-01-21 07:34

logstack 日志技术栈-04-opensource 开源工具 Syslog-ng+Highlight.io

然后将日志解析、分类、重写和关联到统一格式中，然后将其存储或安全地传输到不同的系统（如ApacheKafka或Elasticsearch）。

老马啸西风·2024-01-21 07:03

安装Kafka

准备下载Kafka安装包Kafka官方网站我们采用的是kafka_2.11-0.10.2.0的版本一、解压并安装Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr

殊迟·2024-01-21 06:51

Win32 消息队列循环机制【转载】

Dos的过程驱动与Windows的事件驱动在讲本程序的消息循环之前，我想先谈一下Dos与Windows驱动机制的区别:DOS程序主要使用顺序的，过程驱动的程序设计方法。顺序的，过程驱动的程序有一个明显的开始，明显的过程及一个明显的结束，因此程序能直接控制程序事件或过程的顺序。虽然在顺序的过程驱动的程序中也有很多处理异常的方法，但这样的异常处理也仍然是顺序的，过程驱动的结构。而Windows的驱动方

虚三岁·2024-01-21 06:50

构建高可用消息队列系统 01

构建高可用消息队列系统01引言1.RabbitMQ简介介绍1.1什么是RabbitMQ1.2RabbitMQ的核心特性1.3RabbitMQ与AMQP2.安装RabbitMQ3.消息队列实践总结引言在当今互联网时代

叶秋∵·2024-01-21 06:43

《Spring Boot 实战派》--12.集成RabbitMQ,实现系统间的数据交换

12.1认识RabbitMQ12.1.1介绍RabbitMQRabbitMQ是开源的高级消息队列协议(AdvancedMessageQueueingP

time Friend·2024-01-21 06:03

RabbitMQ 消息队列入门

什么是RabbitMQMQ（MessageQueue）消息队列消息队列中间件，是分布式系统中的重要组件；主要解决异步处理、应用解耦、流量削峰等问题，从而实现高性能，高可用，可伸缩和最终一致性的架构。

RendaZhang·2024-01-21 05:01

RabbitMQ系列2 RabbitMQ安装与基础入门

RabbitMQ简介：AMQP(AdcancedMessageQueuingProtocol)AMQP，即AdvancedMessageQueuingProtocol，一个提供统一消息服务的应用层标准高级消息队列协议

一只胡说八道的猴子·2024-01-21 05:01

RabbitMQ—从入门到入土

什么是消息队列消息队列（英语：Messagequeue）是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，通常是来自用户。

juhaozero·2024-01-21 05:58

RabbitMQ 入门之基础概念

什么是消息队列（MQ）消息是在不同应用间传递的数据。这里的消息可以非常简单，比如只包含字符串，也可以非常复杂，包含多个嵌套的对象。

mghio·2024-01-21 05:28

RabbitMQ系列之入门级

一、MQ的简介1.什么是MQ（概念简述）MQ通常指的是消息队列（MessageQueue），是一种用于在应用程序之间传递消息的通信方式。

君易--鑨·2024-01-21 05:55

RabbitMQ与SpringAMQP

MQ，中文是消息队列（MessageQueue），字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。（经纪人！）

唯手熟·2024-01-21 05:24

【Kafka】Linux本地和Docker安装Kafka

目录Linux本地安装kafkajava环境配置Zookeeper的安装配置Kafka的安装与配置生产与消费Docker安装kafkaZookeeper安装Kafka安装Linux本地安装kafkajava

Ethan-running·2024-01-21 05:23

Linux高级实战部署专题篇：elk日志中心集群多服务部署大全（ELK+filebeat集群：elasticsearch+kibana+logstash+kafka+filebeat）

chenshuai199533·2024-01-21 05:18

10. 进程间通信

10.进程间通信1.管道和FIFO2.消息队列3.信号量4.共享内存5.套接字这里只是简单介绍，需要详细了解可以看这篇文章：Linux进程间通信1.管道和FIFO管道就是把一个进程连接到另一个进程的数据流

等你看日出·2024-01-21 05:39

深入Kafka broker

一、协议设计颗粒度,PRODUCE和FETCH中支持topic,partion等层级的颗粒度;测试友好,基于session_id和epoch确定一条拉取链路的fetchsession;全量增量结合,FetchRequest中的全量拉取和增量拉取;基本结构:header+body。常见header:api_key,api_version,corelation_id,client_id。与网络协议类似

FA-117·2024-01-21 05:56

RabbitMQ整合Springboot

0-前言RabbitMQ是消息队列的一种，但其不是基于JMS实现的，而是基于AMQP（AdvancedMessageQueue，高级消息队列协议）实现的，因此RabbitMQ的结构与传统的消息队列有很大的区别

海涛_meteor·2024-01-21 04:00

springboot之kafka

配置创建springboot项目的时候勾选messaging选项中的kafka，springboot自动配置了很多，只需要很少的配置就可以运行了missing-topics-fatal这一条要加上，不然

陆阳226·2024-01-21 02:42

推荐频道

消息队列--kafka