kafka消息中间件消息队列

nginx反向代理kafka集群实现内外网隔离访问 —— 筑梦之路

背景说明我们在使用Kafka客户端连接到Kafka集群时，即使连接的节点只配置了一个集群的Broker地址，该Broker将返回给客户端集群所有节点的信息列表。
筑梦之路·2025-01-21 11:42

k8s部署Kafka集群

1.1、Kafka(消息队列)是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。
潞哥的博客·2025-01-21 10:38

K8S环境快速部署Kafka(K8S外部可访问)

apiVersion:v1kind:Servicemetadata:name:zookeeper-nodeportnamespace:kafka-testspec:type:NodePortports:
2401_83817392·2025-01-21 10:31

kafka学习笔记5 PLAIN认证——筑梦之路

在Kafka中，SASL（SimpleAuthenticationandSecurityLayer）机制包括三种常见的身份验证方式：SASL/PLAIN认证：含义是简单身份验证和授权层应用程序接口，PLAIN
筑梦之路·2025-01-21 09:00

【Java面试】RabbitMQ

RabbitMQ是一款开源的、基于Erlang语言编写的消息中间件，遵循AMQP协议（AdvancedMessageQueuingProtocol）。
白衫~·2025-01-21 08:50

我的软件架构师——Java 职位面试经历。

面试官问我有关AWS、Docker、Kubernetes、Kafka、ElasticSearch、SQL/NoSQL和设计模式的问题。
小蜗牛慢慢爬行·2025-01-21 08:44

一文熟知docker安装RabbitMQ及安装延迟插件

我这个安装攻略首先得保证服务器上安装过docker了如果没安装docker请先去安装docker1.首先说一下什么是MQMQ(messagequeue)字面意思上来说消息队列，FIFO先入先出，队列中存入的内容是
java晴天过后·2025-01-21 06:30

循环队列C语言实现

Linux系统三大队列：消息队列：进程间通信的一种手段。工作队列：延后执行的一种手段。等待队列：随时随地让进程休眠并且让进程随时随地被唤醒。
Helpsen·2025-01-21 03:36

你说通过Kafka AdminClient获取Lag会有性能问题？尊嘟假嘟0.o

0.前言前阵子团队里出了个大故障，本质是因为其他语言实现的client有问题，非常频繁的请求大量元数据，而Kafka服务端这边也没有做什么限制，导致KafkaBroker宕了。
·2025-01-21 03:31

【RocketMQ 消息中间件】RocketMQ篇之-消息存储 为什么性能高 CommitLog 刷盘机制 同步 异步

RocketMQ篇之-消息存储RocketMQ作为一款分布式消息中间件，高可靠性是其最重要的特性之一。所以需要将消息进行持久化存储，以保证消息不丢失。
·2025-01-20 23:54

kafka 学习笔记3-传统部署Kraft模式集群——筑梦之路

部署kafka集群规划一般模式下，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。
筑梦之路·2025-01-20 19:10

【kafka】简单运用go语言操作kafka实现生产者和消费者功能的包，confluent-kafka-go和sarama

confluent-kafka-go和sarama对比特性confluent-kafka-gosarama底层实现基于librdkafkaC库完全用Go实现性能高吞吐量、低延迟吞吐量较低，适合常规应用安装依赖需要
{⌐■_■}·2025-01-20 16:17

深入理解 JavaScript 引擎与消息队列的底层原理

深入理解JavaScript引擎与消息队列的底层原理JavaScript是现代Web开发中最为重要的编程语言之一，它的运行和执行方式常常是开发者关注的重点。
D.eL·2025-01-20 13:50

flume系列之：flume落cos

flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka
快乐骑行^_^·2025-01-20 13:42

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
本旺·2025-01-20 06:01

程序员必须掌握的消息中间件-RocketMQ

设计(design)1消息存储消息存储是RocketMQ中最为复杂和最为重要的一部分，本节将分别从RocketMQ的消息存储整体架构、PageCache与Mmap内存映射以及RocketMQ中两种不同的刷盘方式三方面来分别展开叙述。1.1消息存储整体架构消息存储架构图中主要有下面三个跟消息存储相关的文件构成。(1)CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主
·2025-01-20 03:13

Hadoop 和 Spark 的内存管理机制分析

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-20 03:27

【RabbitMQ】超详细Windows系统下RabbitMQ的安装配置

RabbitMQ是一个开源的消息队列中间件，广泛用于分布式系统中的异步消息传递。它支持多种消息协议，易于扩展，功能强大。
m0_74823963·2025-01-19 23:29

程序员必须掌握的消息中间件-RabbitMQ

一、Rabbit概述RabbitMQ是一个开源的消息代理和队列服务器，用来通过普通协议在完全不同的应用中间共享数据，RabbitMQ是使用Erlang语言来编写的，并且RabbitMQ是基于AMQP协议的。特点：开源、性能优秀Erlang语言最初用在交换机的架构模式，这样使得RabbitMQ在Broker之间进行数据交互的性能时非常优秀的。Erlang的优点：Erlang有着和原生Socket一样
·2025-01-19 23:36

kafka

Kafka学习之路Kafka必知必会kafka核心原理go操作kafka消息队列之-KafkaKafka分区分配策略或(https://blog.csdn.net/u013256816/article/
宋song一·2025-01-19 20:28

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
·2025-01-19 19:57

Springboot Redisson 分布式锁、缓存、消息队列、布隆过滤器

redisson-spring-boot-starter是Redisson提供的SpringBoot集成包，旨在简化与Redis的交互，包括分布式锁、缓存、消息队列、布隆过滤器等功能的实现。
空灵宫（Ethereal Palace）·2025-01-19 19:48

深入探讨Kafka：架构、实现原理与开发实践

深入探讨Kafka：架构、实现原理与开发实践ApacheKafka是一个高性能的分布式流处理平台，广泛应用于实时数据处理、日志收集、消息发布/订阅等领域。
Ceramist·2025-01-19 18:41

面试经验分享-回忆版某小公司

首先是ODS层，连接数据源和数据仓库，数据会进行简单的ETL操作，数据来源通常是业务数据库，用户日志文件或者来自消息队列的数据等中间是核心的数据仓库层，可以细分为DWD，DIM，DWS层。
兔子宇航员0301·2025-01-19 16:20

9.kafka单实例安装

1.环境信息OSVersionZookeeperVersionUserRHEL7.73.8.0rootkafka官网下载地址：ApacheKafka备注：与在同一台服务器。
小黑要上天·2025-01-19 16:19

liunx进程函数汇总(包含管道、共享内存、消息队列、信号)

liunx进程函数汇总fork函数函数功能：创建子进程头文件：#include函数原型intfork(void);返回值：函数的奇妙之处在于调用一次，返回两次，可能有3种不同的返回值成功：父进程中，fork返回新创建的子进程的PID子进程中，fork返回0失败：返回-1vfork函数函数功能：创建子进程头文件：#include#include函数原型intvfork(void);返回值：成功：父进
猫一样的妩媚·2025-01-19 11:44

Kafka面试夺命连环30问（一）

1、kafka消息发送的流程？Producer创建并配置。发送消息，消息被序列化，并通过配置的分区规则决定发送的分区。Producer发送请求，通过网络将消息发送到相应的Broker。
知否&知否·2025-01-19 07:36

docker部署ELK日志系统+kafka

docker部署ELK日志系统+kafka1.部署elasticsearch#拉取镜像dockerpullelasticsearch:7.6.2#创建文件夹mkdir-p/data/elk/es/config
weixin_50837690·2025-01-19 04:08

基于docker微服务日志ELK+Kafka搭建

ELK是Elasticsearch、Logstash、Kibana的简称Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程
我是奶龙！我是奶龙！我是奶龙！·2025-01-19 02:16

使用 Hadoop 实现大数据的高效存储与查询

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 23:24

Flink 使用 Kafka 作为数据源时遇到了偏移量提交失败的问题

具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator
java我跟你拼了·2025-01-18 23:19

WebSocket 客户端开发：浏览器实战

我曾在一个实时协作项目中,通过优化WebSocket客户端的重连机制和消息队列,使得用户即使在网络不稳定的情况下也能保持良好的体验。
·2025-01-18 22:19

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点
mark.meng·2025-01-18 20:47

使用java代码消费kafka数据

首先创建maven项目，导入jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据
二进制_博客·2025-01-18 19:34

为什么要使用MQ？思维导图 代码示例（java 架构)

使用消息队列（MQ）的主要原因在于它能够提供解耦、异步通信、流量削峰等特性，这些特性对于构建稳定、高效、可扩展的分布式系统至关重要。
用心去追梦·2025-01-18 12:39

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
武子康·2025-01-18 10:29

Springboot项目如何消费Kafka数据

目录一、引入依赖二、添加Kafka配置三、创建Kafka消费者（一）Kafka生产的消息是JSON字符串1、方式一2、方式二：需要直接访问消息元数据（二）Kafka生产的消息是对象Order四、创建启动类五
布朗克168·2025-01-18 10:25

详解 RabbitMQ 在 Go 中的实现：一个带重试机制和死信队列的消息消费者

RabbitMQ是一个功能强大的消息队列系统，广泛应用于分布式系统中。本文将详细解析一个使用Go语言编写的RabbitMQ消费者程序。
田猿笔记·2025-01-18 08:43

Python 爬虫：获取网页数据的 5 种方法

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 07:35

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？
·2025-01-17 19:07

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在
大模型大数据攻城狮·2025-01-17 19:56

RocketMQ由哪些角色组成，每个角色作用和特点是什么？思维导图 代码示例（java 架构)

RocketMQ是一个分布式消息中间件，专为高吞吐量和低延迟设计，广泛应用于需要高效、可靠消息传递的场景。它由多个角色组成，每个角色在系统中扮演着特定的角色以确保消息的可靠传递和服务的稳定性。
用心去追梦·2025-01-17 15:16

RocketMQ原理解析

RocketMQ是阿里巴巴开源的一款分布式消息队列系统，也是一款高性能、高可用性、高可靠的消息中间件。
Luxangn·2025-01-17 10:04

kafka直接对接nginx

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志，通过flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用
Lu_Xiao_Yue·2025-01-17 10:04

Spring Boot 和微服务：快速入门指南

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-17 09:56

MySQL 与 Redis 数据一致性 2

binlog的消费问题使用消息队列行不行?其他方案总结:数据不一致的处理方案清除策略解决缓存击穿问题的方案分布式锁使用更新策略更新策略与清除策略的使用场景更新策略删除策略4.缓存
dengjiayue·2025-01-17 07:41

大数据框架之kafka详解

目录1kafka介绍1.1kalka是什么？1.2Kafka内部原理1.3为什么需要消息队列？
xingchensuiyue·2025-01-17 06:30

消息中间件的基础概念入门

目录一、什么是消息中间件1.1、简介1.2、消息中间件的主要作用解耦合异步通信负载均衡可靠性与持久性消息路由与调度削峰事务支持监控与审计跨平台和跨语言支持二、常用消息中间件对比2.1、RabbitMQ2.1.1
全镇人的希望·2025-01-17 05:28

Kafuka查看版本的方法

kafka查看版本方法：定位到kafka的安装目录，然后执行以下脚本find.
thinking-fish·2025-01-17 05:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他