消息队列Kafka 第38页

【中间件】消息中间件之Kafka

一、概念介绍ApacheKafka是一个分布式流处理平台，用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流，并能实时地将这些数据流传输到另一个系统或应用中进行处理。

孤之鹜·2024-01-15 01:06

chromium mojo 快速入门

术语：消息管道：是一组端点.每个endpoint有一个接受消息的队列,在一个端点上写消息会高效地放入对端端点的消息队列上。所以消息管道是双工通信的。

tornmy·2024-01-15 01:30

分布式引擎Elasticsearch本地部署并结合内网穿透远程访问

檀越剑指大厂·2024-01-14 22:37

一个注解优雅的实现接口幂等性

三、为什么需要幂等1.超时重试2.异步回调3.消息队列四、实现幂等的关键因素五、注解实现幂等性一、什么是幂等性？

豆奶快攻·2024-01-14 22:36

MQ的作用【转】

一、什么是MQ，有什么用MQ是messagequeue,消息队列，也叫消息中间件，遵守JMS（javamessageservice）规范的一种软件。

小刘加油2023·2024-01-14 21:31

调用三方的注意事项

广义上的三方：sdk、存储、消息队列、配置中心等外部团队维护的组件。为什么要格外注意对三方依赖的处理归属于外部团队甚至外部公司，相比自身更加不可控，容易出现：排查问题效率低。

娟宝宝萌萌哒·2024-01-14 21:55

rabbitmq

的重要概念以及安装一RabbitMQ介绍1.1RabbitMQ简介1.2RabbitMQ核心概念1.2.1Producer(生产者)和Consumer(消费者)1.2.2Exchange(交换器)1.2.3Queue(消息队列

困兽犹斗z·2024-01-14 21:59

ELK日志分析系统之（Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch）

场景：与redis作为缓存服务器相比，虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群，存在单点问题，故利用kafka代替redis

zhl52306·2024-01-14 19:56

ELK——ELK+filebeat+kafka部署——（2）部署nginx+filebeat

部署nginx+filebeat我们在虚拟机上部署nginx服务器，然后安装filebeat，使用filebeat收集nginx日志文件，把收集到的日志发送给logstash，让logstash过滤日志，把过滤完的日志保存到elasticsearch，然后通过kibana展示出来。安装nginx安装nginx安装nginx依赖包:[root@filebeat01~]#yuminstall-ygcc

未来的运维大牛·2024-01-14 19:21

kafka为什么快

消息发送1、批量发送:Kafka通过将多个消息打包成一个批次，减少了网络传输和磁盘写入的次数，从而提高了消息的吞吐量和传输效率。

小甄笔记·2024-01-14 18:46

docker-compose部署kafka、SASL模式(密码校验模式)

一.基础kafka部署zookeeper，kafka，kafka-uidocker-compose.yml注意点：192.168.1.20是宿主机的ipversion:"3"services:zookeeper

xixiyuguang·2024-01-14 16:02

SpringBoot升级到2.7.18后不兼容的地方

背景最近为了给kafka加性能指标采集功能，调研后发现spring-kafka在2.3版本之后就自带了Micrometer指标采集功能。

李昂的数字之旅·2024-01-14 15:06

kafka入门(七)：kafka实现高吞吐量

kafka高吞吐量顺序写入磁盘Kafka使用磁盘来存储和缓存消息。Kafka只能在日志文件的尾部追加新的消息，也就是顺序写入磁盘。顺序写入磁盘，让Kafka能实现更高的吞吐量。

乐之者v·2024-01-14 14:15

【MySQL系列】Too many connections

檀越剑指大厂·2024-01-14 13:51

FreeRTOS——消息队列

学习目标理解队列的概念掌握消息队列开发流程掌握基本数据类型消息队列掌握复杂数据类型消息队列学习内容队列队列（Queue）是一种数据结构，用于存储和管理元素的线性集合。

除不掉的灰色·2024-01-14 13:48

Kafka的安装、管理和配置

Kafka的安装、管理和配置1.Kafka安装官网:https://kafka.apache.org/downloads下载安装包,我这里下载的是https://archive.apache.org/dist

llp1110·2024-01-14 08:02

kafka之java客户端实战

1.kafka的客户端Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。

瑜伽娃娃·2024-01-14 08:28

解密 ElK 系统引领大中企业微服务日志数据收集和各个组件协同配置一次性说明

SteveCode.·2024-01-14 08:53

SpringCloud：RabbitMQ兔子消息队列

概述HelloWorld案例SpringAMQPBasicQueue简单队列模型WorkQueue发布/订阅FanoutDirectTopic消息转换器RabbitMQMQ（MessageQueue），消息队列

林小果1·2024-01-14 08:42

Redis学习指南(6)-Redis的数据类型简介

文章目录引言1.字符串(String)2.哈希(Hash)3.列表(List)4.集合(Set)5.有序集合(ZSet)结语引言Redis是一种高性能的键值存储系统，被广泛应用于缓存、消息队列等场景。

俞兆鹏·2024-01-14 07:45

物理机部署三节点Kafka集群

一、部署Kafka集群官方下载地址：http://kafka.apache.org/downloads.html上传安装包到102的/opt/software目录下解压安装包到/opt/module/目录下

DIY……·2024-01-14 07:43

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8

雷神乐乐·2024-01-14 06:01

记录@EnableKafka和@KafkaListener注解

记录@EnableKafka和@KafkaListener注解第一步、启动zookeeperserver和kafkaserver启动zookeeperserver：bin/zookeeper-server-start.shconfig

Joe world·2024-01-14 06:56

记录下载安装rabbitmq（Linux）并整合springboot--详细版（全）

share.weiyun.com/TGhfV8eZrabbitMq-server压缩包：https://share.weiyun.com/ZXbUwWHD（因为RabbitMQ采用Erlang实现的工业级的消息队列

Joe world·2024-01-14 06:24

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。

中长跑路上crush·2024-01-14 04:56

Kafka基本介绍

消息队列产生背景消息队列：指的数据在一个容器中，从容器中一端传递到另一端的过程消息(message):指的是数据，只不过这个数据存在一定流动状态队列(queue):指的容器，可以存储数据，只不过这个容器具备

小希 fighting·2024-01-14 04:01

Kafka的核心原理

Topic的分区和副本机制分区有什么用呢?作用：1-避免单台服务器容量的限制:每台服务器的磁盘存储空间是有上限。Topic分成多个Partition分区，可以避免单个Partition的数据大小过大，导致服务器无法存储。利用多台服务器的存储能力，提升Topic的数据存储条数。2-提升Topic的吞吐量(数据读写速度):利用多台服务器的数据读写能力、网络等资源分区的数量有没有限制？没有限制，分区数量

小希 fighting·2024-01-14 04:00

Zookeeper与Kafka基础概念和原理

1、zookeeper概念介绍在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个

weixin_34198797·2024-01-14 02:18

Logstash：迁移数据到 Elasticsearch

在生产环境中，不使用ApacheKafka等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨ApacheKafka和Logstash的关系。

Elastic 中国社区官方博客·2024-01-14 01:43

【算法Hot100系列】在排序数组中查找元素的第一个和最后一个位置

檀越剑指大厂·2024-01-14 01:06

大数据实时抓取软件：Maxwell学习网站的高效框架！

进一步地，Maxwell将这些消息作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其他平台的应用程序。

知识分享小能手·2024-01-14 01:32

Redis异步写失败后补数逻辑设计

就涉及到了如何进行补数的操作，本文就是来记录下如何补数Redis补数设计首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka

lixia0417mul2·2024-01-14 01:29

RabbitMQ 的基本概念

一MQ的基本概念1MQ概述MQ全称MessageQueue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。消息队列就是所谓的存放消息的队列。

伍六七.167·2024-01-14 00:58

进程间通信

方式管道（Pipe）：匿名管道（AnonymousPipe）与命名管道（NamedPipe，也称为FIFO）消息队列（MessageQu

wifi chicken·2024-01-14 00:22

SpringBoot整合ActiveMQ[超详细版]

启动类配置通道测试发送信息进入通道接受者pom依赖yml配置启动类接受mq类SpringBoot整合ActiveMQ-主题模式生产者创建主题通道测试发信息进入主题接受者yaml接收类简介什么是ActiveMQ消息队列

Java患者··2024-01-13 23:21

程序员大彬·2024-01-13 23:50

2024.1.13 Kafka六大机制和Structured Streaming

目录一.Kafka中生产者数据分发策略二.Kafka消费者的负载均衡机制三.数据不丢失机制生产者端是如何保证数据不丢失的呢？

白白的wj·2024-01-13 18:37

kafka基本使用及结合Java使用

一、Kafka介绍Kafka是一个分布式、支持分区、多副本的消息系统，最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。

嘚嘚嘚嘚嘚嘚哒·2024-01-13 18:02

Kafka 消息压缩与解压缩

在Kafka中，压缩也是用来做这件事的。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的消息格式说起了。目前Kafka共有两大类消息格式，社区分别称之为V1版本和V2版本。

taj3991·2024-01-13 18:52

多线程设计模式 - 保护性暂停（有时限等待方式）

GuardedSuspension，用一个线程等待另一个线程的执行结果要点：有一个结果需要从一个线程传递到另一个线程，让他们关联同一个GuardedObject如果有结果不断从一个线程到另一个线程那么可以使用消息队列

二进制杯莫停·2024-01-13 16:42

java多线程编程 - 模式 -同步模式之保护性暂停模式

GuardedSuspension，用在一个线程等待另一个线程的执行结果要点有一个结果需要从一个线程传递到另一个线程，让他们关联同一个GuardedObject如果有结果不断从一个线程到另一个线程那么可以使用消息队列

it's okey·2024-01-13 16:12

33 - Guarded Suspension模式等待唤醒机制的规范

这个项目依赖运维部门提供的文件浏览服务，而这个文件浏览服务只支持消息队列（MQ）方式接入。

坯子蔡·2024-01-13 16:41

Kafka面试题！掌握它才说明你真正懂Kafka（附答案）

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？

码农小胖·2024-01-13 15:15

Kafka中的max-poll-records和listener.concurrency配置

1、max-poll-records是什么max-poll-records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目，默认值为500

y_bccl27·2024-01-13 14:33

【kafka】为什么要学习Kafka？

KAFKA官方文档入门指南http://ifeve.com/kafka-1为什么要学习Kafka？

Bogon·2024-01-13 14:53

docker上启动kafka

在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s，在k8s上连接kafka，连接失败，因此我先搭建个环境，以供后续还原问题，解决问题。

YUE_SUNSHINE·2024-01-13 13:34

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。

思旭�·2024-01-13 13:02

kafka常用命令

一、KAFKA启停命令1.前台启动kafka前台启动命令：bin/kafka-server-start.shconfig/server.properties2.后台启动kafka后台启动命令：后台常驻方式