消息队列Kafka 第31页

logstack 日志技术栈-04-opensource 开源工具 Syslog-ng+Highlight.io

然后将日志解析、分类、重写和关联到统一格式中，然后将其存储或安全地传输到不同的系统（如ApacheKafka或Elasticsearch）。

老马啸西风·2024-01-21 07:03

安装Kafka

准备下载Kafka安装包Kafka官方网站我们采用的是kafka_2.11-0.10.2.0的版本一、解压并安装Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr

殊迟·2024-01-21 06:51

Win32 消息队列循环机制【转载】

Dos的过程驱动与Windows的事件驱动在讲本程序的消息循环之前，我想先谈一下Dos与Windows驱动机制的区别:DOS程序主要使用顺序的，过程驱动的程序设计方法。顺序的，过程驱动的程序有一个明显的开始，明显的过程及一个明显的结束，因此程序能直接控制程序事件或过程的顺序。虽然在顺序的过程驱动的程序中也有很多处理异常的方法，但这样的异常处理也仍然是顺序的，过程驱动的结构。而Windows的驱动方

虚三岁·2024-01-21 06:50

构建高可用消息队列系统 01

构建高可用消息队列系统01引言1.RabbitMQ简介介绍1.1什么是RabbitMQ1.2RabbitMQ的核心特性1.3RabbitMQ与AMQP2.安装RabbitMQ3.消息队列实践总结引言在当今互联网时代

叶秋∵·2024-01-21 06:43

《Spring Boot 实战派》--12.集成RabbitMQ,实现系统间的数据交换

12.1认识RabbitMQ12.1.1介绍RabbitMQRabbitMQ是开源的高级消息队列协议(AdvancedMessageQueueingP

time Friend·2024-01-21 06:03

RabbitMQ 消息队列入门

什么是RabbitMQMQ（MessageQueue）消息队列消息队列中间件，是分布式系统中的重要组件；主要解决异步处理、应用解耦、流量削峰等问题，从而实现高性能，高可用，可伸缩和最终一致性的架构。

RendaZhang·2024-01-21 05:01

RabbitMQ系列2 RabbitMQ安装与基础入门

RabbitMQ简介：AMQP(AdcancedMessageQueuingProtocol)AMQP，即AdvancedMessageQueuingProtocol，一个提供统一消息服务的应用层标准高级消息队列协议

一只胡说八道的猴子·2024-01-21 05:01

RabbitMQ—从入门到入土

什么是消息队列消息队列（英语：Messagequeue）是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，通常是来自用户。

juhaozero·2024-01-21 05:58

RabbitMQ 入门之基础概念

什么是消息队列（MQ）消息是在不同应用间传递的数据。这里的消息可以非常简单，比如只包含字符串，也可以非常复杂，包含多个嵌套的对象。

mghio·2024-01-21 05:28

RabbitMQ系列之入门级

一、MQ的简介1.什么是MQ（概念简述）MQ通常指的是消息队列（MessageQueue），是一种用于在应用程序之间传递消息的通信方式。

君易--鑨·2024-01-21 05:55

RabbitMQ与SpringAMQP

MQ，中文是消息队列（MessageQueue），字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。（经纪人！）

唯手熟·2024-01-21 05:24

【Kafka】Linux本地和Docker安装Kafka

目录Linux本地安装kafkajava环境配置Zookeeper的安装配置Kafka的安装与配置生产与消费Docker安装kafkaZookeeper安装Kafka安装Linux本地安装kafkajava

Ethan-running·2024-01-21 05:23

Linux高级实战部署专题篇：elk日志中心集群多服务部署大全（ELK+filebeat集群：elasticsearch+kibana+logstash+kafka+filebeat）

chenshuai199533·2024-01-21 05:18

10. 进程间通信

10.进程间通信1.管道和FIFO2.消息队列3.信号量4.共享内存5.套接字这里只是简单介绍，需要详细了解可以看这篇文章：Linux进程间通信1.管道和FIFO管道就是把一个进程连接到另一个进程的数据流

等你看日出·2024-01-21 05:39

深入Kafka broker

一、协议设计颗粒度,PRODUCE和FETCH中支持topic,partion等层级的颗粒度;测试友好,基于session_id和epoch确定一条拉取链路的fetchsession;全量增量结合,FetchRequest中的全量拉取和增量拉取;基本结构:header+body。常见header:api_key,api_version,corelation_id,client_id。与网络协议类似

FA-117·2024-01-21 05:56

RabbitMQ整合Springboot

0-前言RabbitMQ是消息队列的一种，但其不是基于JMS实现的，而是基于AMQP（AdvancedMessageQueue，高级消息队列协议）实现的，因此RabbitMQ的结构与传统的消息队列有很大的区别

海涛_meteor·2024-01-21 04:00

springboot之kafka

配置创建springboot项目的时候勾选messaging选项中的kafka，springboot自动配置了很多，只需要很少的配置就可以运行了missing-topics-fatal这一条要加上，不然

陆阳226·2024-01-21 02:42

RabbitMQ入门

配置文件1.3创建实现类1.4结果，打开控制台1.5消费2、工作队列模型3、发布与订阅的广播模式4、发布与订阅的路由模式5、发布与订阅的主题模式五、消息传递的格式1、默认格式一、基本介绍1、概念MQ是消息队列

何怀逸·2024-01-21 02:26

第二章 Spring Boot 整合 Kafka消息队列生产者

系列文章目录第一章Kafka配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合Kafka消息队列生产者第三章SpringBoot整合Kafka消息队列消息者（待续）前言Kafka

维基框架·2024-01-21 00:13

第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证

系列文章目录第一章Kafka配置部署及SASL_PLAINTEXT安全认证第二章SpringBoot整合Kafka消息队列生产者第三章SpringBoot整合Kafka消息队列消息者（待续）1、下载安装

维基框架·2024-01-21 00:43

kfaka基本概念

Kafka第一章kafka基本概念文章目录Kafka一、kafak作用？二、基本概念一、kafak作用？Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。

西堂AI编程提效·2024-01-20 23:28

Kafka总结

Kafka保证的是分区有序而不是全局有序。

西堂AI编程提效·2024-01-20 23:28

kafka生产者消费者

生产者生产者发送确认机制半数follower响应全部follower响应–>改进：ISR机制：in-sync-replicaset【挑选进入isr的follower规则：1、同步的时间2、和leader相差的条数（0.9版本中被去掉）】注意：isr中的follower和正常的follower的概念问题acks配置0：发送完就返回。Atmostonce1：只等待leader写完就返回。-1：lead

西堂AI编程提效·2024-01-20 23:57

数据集成时表模型同步方法解析

功能更加全面的数据中台通常还具有对接非关系型数据库、消息队列、日志源、文件源等功能。数据湖通常是OLAP型的数据库，虽然中台系统很少会采用多种数据仓库技术，但在技术选型时，可选项也有很多。

KaiwuDB 数据库·2024-01-20 23:58

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate

中长跑路上crush·2024-01-20 23:55

kafka核心原理及数据积压问题

1kafka的分片和副本机制何为分片?分片有什么用呢?

江枫渔火R·2024-01-20 22:24

【Kafka原理】数据积压问题

Kafka消费者消费数据的速度是非常快的，但是如果在处理Kafka消息时，由于外部IO或者网络拥堵会导致Kafka中的数据积压（数据堆积）。如果数据一直积压，会导致数据出来的实时性受到较大影响。

TAIKEMAN·2024-01-20 22:23

【Kafka面试】Kafka消费积压百万数据怎么办？

Kafka面试大全（万字长文，37张图，28个知识点）高频面试题：kafka消费积压百万数据怎么办一、问题背景二、问题排查三、解决方案

TAIKEMAN·2024-01-20 22:23

Kafka3.0 消费者事务与数据积压

消费者事务如果想完成Consumer端的精准一次性消费，那么需要Kafka消费端将消费过程和提交offset过程做原子绑定。

Alienware^·2024-01-20 22:53

kafka数据积压语句查询记录

/kafka-consumer-groups.sh--bootstrap-server192.168.45.79:9092--list查看某些消费组是否积压.

飞鸟还巢·2024-01-20 22:23

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。

sinat_36710456·2024-01-20 22:23

kafka消费组数据积压导致节点挂掉解决办法

前提Kafka运行一段时间后，容易出现节点挂掉的情况。排查原因是:存在多个由zookeeper命令创建的消费组，里面消息没有进行消费，导致数据积压，从而导致kafka节点挂掉。导致原因.

恒星0915·2024-01-20 22:22

消费数据积压

生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据2-1使用KafkaEagle查看消费积压KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个

中长跑路上crush·2024-01-20 22:21

Kafka消息数据积压如何处理

可以从两方面考虑：1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。

AlbenXie·2024-01-20 22:21

消息队列介绍

什么是MQMQ(messagequeue)，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后，消息发送上游只需要依赖MQ，不用依赖其他服务。为什么要用MQ1.流量消峰如一个订单系统最多能处理一万次订单，当请求量超过最大请求量时，系统

Alonzo de blog·2024-01-20 22:38

一文了解消息队列MQ（超详细+干货满满）

原文章链接：消息队列MQ快速入门（概念、RPC、MQ实质思路、队列介绍、队列对比、应用场景）_zmqrpc-CSDN博客基本定义：MQ是一种进程间通信或同一进程的不同线程间的通信方式，队列就是一个消息容器

GeekInk小火龙·2024-01-20 21:56

使用Python基于metricbeat和heartbeat采集数据进行告警

一、系统架构IP主机名角色备注11.0.1.11kafka1kafka和MySQL11.0.1.12kafka2kafka11.0.1.13kafka3kafka11.0.1.14demo1metricbeat

你说咋整就咋整·2024-01-20 19:25

MeterSphere本地化部署实践

JDK11，配置好JDK环境，系统同时支持JDK8和JDK11安装IEAD，配置JDK环境配置maven环境,IDEA配置(解压可以直接使用)无限重置IDEA试用期配置redis环境(解压可以直接使用)配置kafka

小李广·2024-01-20 19:24

java kafka client_Kafka Client API 基本使用

之前讲过了[Kafka基本概念及原理][1]，这次我们来看看KafkaClient的API。要使用KafkaClient的API，首先需要先部署Kafka集群，部署过程请参见[官网][2]。

沈逸老师·2024-01-20 18:00

Kafka consumer group位移重设

本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumergroup)的位移。

zxfBdd·2024-01-20 18:30

Kafka查看topic、consumer group状态命令

1，查看kafkatopic列表，使用–list参数bin/kafka-topics.sh--zookeeper127.0.0.1:2181--list2，查看kafka特定topic的详情，使用–topic

mhbsoft·2024-01-20 18:29

Kafka常用命令

文章目录启动Kafka并生产消费消息查看修改topic、group命令启动Kafka并生产消费消息启动ZooKeeper#启动ZooKeeper$bin/zookeeper-server-start.shconfig

楓葉也·2024-01-20 18:29

【kafka】Kafka 1.1.0 consumer group位移重设

1.概述转载：https://www.cnblogs.com/huxi2b/p/7284767.html本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组

九师兄·2024-01-20 18:29

kafka参数配置参考和优化建议 —— 筑梦之路

对于Kafka的优化，可以从以下几个方面进行思考和优化：硬件优化：使用高性能的硬件设备，包括高速磁盘、大内存和高性能网络设备，以提高Kafka集群的整体性能。

筑梦之路·2024-01-20 18:57

在控制台从指定时间戳消费kafka

1.重置消费位点${KAFKA_HOME}/bin/kafka-consumer-groups.sh\--bootstrap-server127.0.0.1:9092\--grouptest_group

Mathieu66·2024-01-20 18:57

Kafka Console Client 的 Consumer Group

以往使用kafka-console-consumer.sh消费Kafka消息时并没有太在意过ConsumerGroup，在命令行中也不会使用--group参数，本文针对KafkaConsoleClient

　Laurence·2024-01-20 18:26

处理积压消息

一、避免消息积压对于绝大多数使用消息队列的业务来说，消息队列本身的处理能力要远大于业务系统的处理能力。

滴流乱转的小胖子·2024-01-20 17:50

消息中间件之Kafka(一)

1.简介高性能的消息中间件，在大数据的业务场景下性能比较好，kafka本身不维护消息位点，而是交由Consumer来维护，消息可以重复消费，并且内部使用了零拷贝技术，性能比较好Broker持久化消息时采用了

coffee_babe·2024-01-20 15:15

kafka hang 问题记录

参考文档https://cloud.tencent.com/developer/article/18214779092端口端口9092通常与ApacheKafka关联。

~kiss~·2024-01-20 15:14

解决celery与kafka的联用问题

0X01背景大数据过滤、导入，用celery下发任务，任务内容为kafka生产一些数据。

LzSkyline·2024-01-20 15:25

推荐频道

消息队列Kafka