消息队列-Kafka

RabbitMQ入门概念

MQ（Messagequeue释义）：消息队列，本质上就是一个队列。服务之间最常见的通信方式是直接调用彼此来通信,消息从
云村小威·2024-01-31 17:52

共享内存

消息队列的读取和写入的过程，都会有发生用户态与内核态之间的消息拷贝过程。那共享内存的方式，就很好的解决了这一问题。
安吉小可爱的爹地·2024-01-31 16:24

kafka_example_01

1安装brewhttps://www.jianshu.com/p/2b209d74139c安装目录：/usr/local/Cellar/kafka/1.1.02运行修改：1.app登录成功返回ErrorCode
Kate_Blog·2024-01-31 16:44

消息队列中为什么不用redis作为队列

本文转载于：https://mp.weixin.qq.com/s/uhMrqR__6qgpl7vrE_otTQ1引言我经常听到很多人讨论，关于把Redis当作队列来用是否合适的问题。有些人表示赞成，他们认为Redis很轻量，用作队列很方便。也些人则反对，认为Redis会丢数据，最好还是用专业的队列中间件更稳妥究竟哪种方案更好呢？这篇文章，就聊一聊把Redis当作队列，究竟是否合适这个问题。从简单到
上善若泪·2024-01-31 16:43

kafka集群部署(最新版本kafka_2.13-3.1.0)

集群环境：节点名ip地址OS版本部署服务broker信息kafka01192.168.96.10CentOSLinuxrelease7.9.2009(Core)jdk、zookeeper、kafkabroker
小米bb·2024-01-31 15:55

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1
我去探险了·2024-01-31 15:36

如何实例化Handler以及消息队列是何时绑定的

先看整体模型在newHandler的时候会在构造函数里面同时实例化一个Looper所以实例化Handler的前提条件就是要先实例化一个Looper，调用Looper.prepare()来实现的，没有调用prepare，是无法实例化Handler的，这里要注意ThreadLocal是在prepare函数那边set了Looper对象，所以get的时候才会有值，关于ThreadLocal可以专门看别的文
GabGo·2024-01-31 12:34

Redis热Key问题解决方案汇总

分摊读请求方法3:多级缓存,代理层面增加本地缓存+Redis+JVM缓存(Guava的LoadingCache,Caffeine等等)方法4:京东开源的hotkey工具Redis缓存问题Redis作为消息队列的优劣
Cat凯94·2024-01-31 11:33

理解Message, MessageQueue, Handler和Looper

Message---信使先看图作为一个信使当然是用来携带信息了arg1,arg携带基本数据,obj携带实体,what---哪个消息一般通过如下方式,先从消息池中获取,没有就创建二.MessageQueue消息队列
itkluo88·2024-01-31 11:05

KAFKA高可用架构涉及常用功能整理

KAFKA高可用架构涉及常用功能整理1.kafka的高可用系统架构和相关组件2.kafka的核心参数2.1常规配置2.2特殊优化配置3.kafka常用命令3.1常用基础命令3.1.1创建topic3.1.2
李姓门徒·2024-01-31 11:07

7000字详解Spring Boot项目集成RabbitMQ实战以及坑点分析

本文给大家介绍一下在SpringBoot项目中如何集成消息队列RabbitMQ，包含对RibbitMQ的架构介绍、应用场景、坑点解析以及代码实战。
waynaqua·2024-01-31 10:57

消息

在Java中使用消息机制通常需要依赖于消息中间件，比如常用的ActiveMQ、RabbitMQ、Kafka等。下面我以使用ActiveMQ为例，简单介绍如何在Java中编写消息生产者和消费者的代码。
.:::.·2024-01-31 10:55

Flink 添加 / 部署 Jar 包的若干注意事项

Flink添加/部署Jar包可根据Jar包的声明周期、作用范围选择不同的附属方式，从实际应用上来看，可以分成以下几种场景：普遍使用的框架或基础设施级别的Jar包，例如Kafka、Hive、Hudi等Connector
　Laurence·2024-01-31 09:01

Kafka源码分析（史上最全）1：源码的开发环境搭建

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:29

Kafka源码分析9：Controller控制器的原理（图解+秒懂+史上最全）

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:29

Kafka源码分析10：副本状态机ReplicaStateMachine详解 （图解+秒懂+史上最全）

文章很长，建议收藏起来，慢慢读！Java高并发发烧友社群：疯狂创客圈奉上以下珍贵的学习资源：免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeeperRedis高并发实战》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图
40岁资深老架构师尼恩·2024-01-31 09:59

kafka 部署 & 开发 & 通用模块 （非常有用）

狂创客圈经典图书：《NettyZookeeperRedis高并发实战》面试必备+面试必备+面试必备【博客园总入口】疯狂创客圈经典图书：《SpringCloud、Nginx高并发核心编程》大厂必备+大厂必备+大厂必备【博客园总入口】入大厂+涨工资必备：高并发【亿级流量IM实战】实战系列【SpringCloudNginx秒杀】实战系列【博客园总入口】《SpringCloudNginx高并发核心编程》环
40岁资深老架构师尼恩·2024-01-31 09:25

中间件系列 - Kafka3.x从入门到精通

前言学习视频：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）本内容仅用于个人学习笔记，如有侵扰，联系删除1Kafka概述1.1定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列
代码的知行者·2024-01-31 08:58

Java 最常见的 208 道面试题：第十四模块答案

①.跨系统的异步通信，所有需要异步交互的地方都可以使用消息队列。就像我们除了打电话（同步）以外，还需要发短信，发电子邮件（异步）的通讯方式。
LIUYUN_7c91·2024-01-31 08:13

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

Kafka系列之：不重启kafka集群设置kafkatopic数据保留时间一、kafkatopic数据保留3天的bash命令二、查看kafka删除数据日志三、批量设置上千个topic保留3天数据1.构建
最笨的羊羊·2024-01-31 07:57

KAFKA节点故障的容错方案

KAFKA节点故障的容错方案1.broker启动加载逻辑1.1日志组成和分析1.2snapshot文件1.3broker启动流程1.4LogManager的初始化和启动过程2.controller高可用
李姓门徒·2024-01-31 07:25

kerberos+kafka（2.13）认证（单节点ubuntu）

一：搭建kerberos。1.运行安装命令apt-getinstallkrb5-admin-serverkrb5-kdckrb5-userkrb5-config2.检查服务是否启动。systemctlstatuskrb5-admin-serversystemctlstatuskrb5-kdcsystemctlstartkrb5-admin-serversystemctlstartkrb5-kdc3
宇智波云·2024-01-31 07:55

kafka3.0.0学习记录

文章目录第1章Kafka概述1.1定义1.2消息队列1.2.1应用场景第1章Kafka概述1.1定义Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公司用于高性能数据管道
珍珠是蚌的眼泪·2024-01-31 07:24

实时计算平台

Flink实时计算平台架构Flink+kafka+clickHouse+mysql+postgresql
xfchn多多学习学习·2024-01-31 07:24

kafka Standalone 配置 测试

一安装1、安装jdk安装jdk2安装zk这里Standalone模型$tar-zxfapache-zookeeper-3.5.9-bin.tar.gz-C/var/soft/$mvapache-zookeeper-3.5.9-bin/zookeeper-3.5.9-bin/$mvzoo_sample.cfgzoo.cfg$vizoo.cfg修改此处，其他默认dataDir=/var/soft/zo
xfchn多多学习学习·2024-01-31 07:24

RabbitMQ简介及其核心概念

RabbitMQ是一个开源的AMQP（AdvancedMessageQueuingProtocol高级消息队列协议）实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.Net
水宝的滚动歌词·2024-01-31 07:51

RabbitMQ和Kafka对比

RabbitMQ和Kafka都是流行的消息传递系统，但它们在设计哲学、功能特性和最适用的场景上有所不同：1.设计和架构RabbitMQ:基于AMQP（高级消息队列协议）。
薛定谔的zhu·2024-01-31 07:21

【kafka-01数据保留时间设置】

kafka正确设置过期时间背景如何正确配置数据过期时间背景某天突然发现我的kafka中group_id消费记录不见了，特地查了下咋回事。
我先森·2024-01-31 07:50

Kafka与RocketMQ性能对比大揭秘

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考
Java柱柱·2024-01-31 07:21

构建高效可靠的消息队列系统：设计与实现

集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性1.生产者消息持久化2.队列的持久化3.消息队列的持久化总结
喔的 喔的嘛呀·2024-01-31 07:31

【Kafka】服务器Broker与Controller详解

Broker概述Broker总体工作流程Broker重要参数Controller为什么需要Controller具体作用数据服务Leader选举选举流程脑裂问题羊群效应触发leader选举Broker概述Kafka
Ethan-running·2024-01-31 06:59

Java教程：Rabbitmq监听器，用于监听topic类型消息队列，并进行业务处理

本章介绍如何使用Rabbitmq监听器，用于监听topic类型消息队列，并进行业务处理源码：importcn.hutool.json.JSONUtil;importcom.alibaba.fastjson.JSONObject
首席摸鱼师·2024-01-31 06:19

Zookeeper实现分布式队列

目录Zookeeper分布式队列普通方式实现设计思路具体实现使用Curator实现具体实现注意事项Zookeeper分布式队列常见的消息队列有:RabbitMQ，RocketMQ，Kafka等。
山鸟与鱼！·2024-01-31 05:33

spring boot 使用 Kafka

一、Kafka作为消息队列的好处高吞吐量：Kafka能够处理大规模的数据流，并支持高吞吐量的消息传输。持久性：Kafka将消息持久化到磁盘上，保证了消息不会因为系统故障而丢失。
奋力向前123·2024-01-31 03:20

Python JoinableQueue控制进程之间同步

以下demo可以很好的理解JoinableQueue的用法"""JoinableQueue消息类必须在消息队列内的任务被消费（get）时，使用task_down()方法发送被消费信号"""frommultiprocessingimportProcess
FY_2018·2024-01-31 02:36

【Linux】匿名管道 | 命名管道

进程间的通信分类管道匿名管道pipe命名管道SystemVIPCSystemV消息队列SystemV共享内存SystemV信号量POSIXIPC消息队列共享内存信号量互斥量条
深度搜索·2024-01-30 23:58

Redis持久化机制

一、Redis持久化简介Redis（RemoteDictionaryServer）是一个高性能的键值对（key-value）存储系统，通常用作数据库、缓存和消息队列等。
无问287·2024-01-30 23:23

【Kafka系列】生产级集群参数配置

2.4Topic管理相关配置2.5数据存留相关配置3.Topic级别参数4.JVM参数5.操作系统参数6.小结1.概述本文将从Bocker端参数、Topic级别参数、JVM端参数、操作系统级别参数分别介绍Kafka
Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka副本机制详解

目录1.前言2.副本定义3.副本角色4.In-syncReplicas（ISR）5.Unclean领导者选举（UncleanLeaderElection）6.小结1.前言所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及
Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka线上集群部署方案

目录前言操作系统磁盘磁盘容量带宽小结前言Kafka线上集群部署方案怎么做？既然是集群部署，那必然就要有多个Kafka节点机器，且需要仔细地考量各种因素，结合自身的业务需求而制定。
Hyatt1024·2024-01-30 23:13

RabbitMQ的安装及使用

1AMQP协议AMQP,即AdvancedMessageQueuingProtocol，一个为进程之间提供统一异步消息传递服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计
嫣夜来·2024-01-30 22:52

RabbitMQ 安装和使用

一.简介1.MQ概述MQ全称MessageQueue（[kjuː]）（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。
前行@·2024-01-30 22:21

RabbitMQ安装及使用讲解

RabbitMQ是一个开源的消息队列系统，它能够让你轻松地构建分布式、可扩展和可靠的应用程序。
不爱敲代码吖·2024-01-30 22:20

RabbitMQ、Kafka、RocketMQ 是如何实现高可用的？

本文从高可用的角度观察一下RabbitMQ、Kafka、RocketMQ，看看它们各自的实现思路。
SlowGO·2024-01-30 22:03

Kafka常见问题

1.Kafka介绍Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
头未秃·2024-01-30 21:48

kafka常见参数配置

Broker端参数auto.create.topics.enable：是否允许自动创建Topic。建议最好设置成false，即不允许自动创建Topic。线上环境里面有很多名字稀奇古怪的Topic，大概都是因为该参数被设置成了true的缘故。unclean.leader.election.enable：是否允许UncleanLeader选举。关闭UncleanLeader选举的。何谓Unclean？
YYangBBB·2024-01-30 21:48

Kafka 常见问题

Kafka常见问题1.什么是分布式？2.什么是Kafka？3.为什么用Kafka（使用消息队列的好处）？4.消息队列的两种模式？5.Kafka的组成（架构）？
斯沃福德·2024-01-30 21:47

Kafka常见配置

producer.properties配置acks消息确认机制，ack可配置为三种:0,1,-1(all)，默认为1acks=0，producer端发送消息后，不管broker的副本是否成功收到消息，producer端都认为发送成功。优点：时延最小，缺点：有消息丢失风险，如果消息生产成功后在发送过程中leader异常，则消息丢失。可靠性低，leader收到消息后，如果同步到其他follower过程
Jessie_hhhhhzy·2024-01-30 21:17

Kafka常见参数

参数名含义默认值解释max.request.size生产端：最大请求字节大小1MB如果生产请求消息体大小大于该值，客户端生产时会报错max.poll.records消费端：一次poll()请求最大拉取消息条数500条如果单条消息处理时间长，需要减少该参数值，反之增加fetch.min.bytes消费端：一次poll()请求最小返回字节大小1增加该值可以提高吞吐量，同时也会产生一定延迟fetch.m
沉默终止·2024-01-30 21:46

kafka学习笔记一

目录第一章初识Kafka一、kafka的作用二、kafka架构三、分区&日志四、生产者&消费者五、kafka高性能之道总结：kafka读写性能高的原因？
薛薛哦·2024-01-30 21:56
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他