kafka3.x

中间件系列 - Kafka3.x从入门到精通

前言学习视频：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）本内容仅用于个人学习笔记，如有侵扰，联系删除1Kafka概述1.1定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列
代码的知行者·2024-01-31 08:58

kafka学习笔记二

课程地址：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）_哔哩哔哩_bilibili讲解版本：kafka3.x；时长13小时官网：ApacheKafkaKafka2.8.0以后也可以配置不采用
薛薛哦·2024-01-30 21:25

kafka学习笔记-- 文件清理策略与高效读写数据

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩高效读写数据文件清理策略
向着百万年薪努力的小赵·2024-01-19 01:25

kafka学习笔记--Topic 数据的存储机制

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录大致介绍实际查看index文件和log文件详解大致介绍Topic是逻辑上的概念，而partition是物理上的概念
向着百万年薪努力的小赵·2023-12-17 23:40

kafka学习笔记--Kafka副本

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1副本基本信息2Leader选举流程3Leader和Follower故障处理细节3.1Follower故障处理细节
向着百万年薪努力的小赵·2023-12-17 23:40

kafka学习笔记--节点的服役与退役

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个
向着百万年薪努力的小赵·2023-12-17 10:25

kafka学习笔记--broker工作流程、重要参数

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录KafkaBroker工作流程Kakfa信息存储在Zookeeper中KafkaBroker总体工作流程Broker
向着百万年薪努力的小赵·2023-12-16 09:59

kafka学习笔记--生产者消息发送及原理

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）发送的目的就一个，将消息发到kafka集群里，整体流程如下：如上图，首先要有一个发送消息的主线程，也就是main线程
向着百万年薪努力的小赵·2023-12-15 23:59

kafka学习笔记--安装部署、简单操作

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1安装部署1.1集群规划1.2集群部署2命令行操作2.1主题2.2生产者2.3消费者2.4消费者组1安装部署
向着百万年薪努力的小赵·2023-12-15 22:54

kafka3.X集群安装(不使用zookeeper)

参考文献kafka3.X集群安装(不使用zookeeper)http://www.bryh.cn/a/601016.html正文kafka3.x不再支持JDK8，建议安装JDK11或JDK17。
cgm625637391·2023-12-15 03:41

kafka 3.x 学习笔记

kafka3.x学习笔记在kafka2.8.0版本之前，安装使用kafka需要配套安装zookeeper，但在2.8.0版本之后，不再需要安装zookeeper，本次学习笔记采用的kafka版本为3.0.0
啃瓜子的松鼠·2023-12-05 11:19

高性能消息中间件 - Kafka3.x（三）

文章目录高性能消息中间件-Kafka3.x（三）KafkaBroker⭐KafkaBroker概念Zookeeper（新版本可以不使用zk了）⭐Zookeeper的作用Kafka的选举1：Broker选举
摸鱼打酱油·2023-11-01 10:43

高性能消息中间件 - Kafka3.x（一）

文章目录高性能消息中间件-Kafka3.x（一）搭建Kafka3.2.1集群⭐Kafka集群机器规划创建3台虚拟机（centos7系统）必要的环境准备（3台虚拟机都要执行如下操作）⭐分别修改每个服务器的
摸鱼打酱油·2023-11-01 09:57

Kafka3.x最全面的总结

一、概述（一）、kafka的定义1、定义1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域2）kafka最新的定义：kafka是一个开源的分布式事件流平台（eventstreamplatform），主要用高性能数据管道，流分析，数据集成和关键任务等领域2、消息队列目前市面上大部分公司采用的消息队列主要有kafka，activeMQ，rabbi
wu-yy·2023-10-31 08:27

Kafka3.x笔记

1.本地环境搭建--条件有限,暂时单服务器模拟集群情况cd/etc/profile.d/my_env.shzookeeper集群启动kafka集群启动编写kafka.sh集群操作脚本(先关闭kafka,再关闭zookeeper)2.kafka命令行操作2.1主题命令行操作[root@hadoop102kafka]#bin/kafka-topics.sh--bootstrap-serverhadoo
懒虫111·2023-10-31 08:55

Kafka3.x重点归纳2

第1章Kafka概述1.1定义1.2传统消息队列的应用场景传统的消费队列的主要应用场景有：缓存/削峰、解耦、异步通信。1.3消息队列的两种模式消息队列主要分为两种模式：点对点模式和发布/订阅模式。1.4Kafka基础架构1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）ConsumerGrou
水花反复横跳·2023-10-28 07:39

kafka3.X基本概念和使用

参考:【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本一、kafka集群实例角色规划在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:17

kafka3.X集群安装(不使用zookeeper)

参考:【kafka专栏】不用zookeeper怎么安装kafka集群-最新kafka3.0版本一、kafka集群实例角色规划在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是brok
zhangjunli·2023-10-26 06:08

Kafka3.x安装以及使用

一、Kafka下载下载地址：https://kafka.apache.org/downloads二、Kafka安装因为选择下载的是.zip文件，直接跳过安装，一步到位。选择在任一磁盘创建空文件夹（不要使用中文路径），解压之后把文件夹内容剪切进去（本人选择D:\env-java\路径下，即完成安装）。linux解压命令tar-zxvfkafka_2.13-3.5.1.tgz，linux环境下指令是在
zhangjunli·2023-10-25 01:58

Kafka3.x学习记录

目录一、kafka概述1、定义2、消息队列3、应用场景3.1、缓存3.2、解耦3.3、异步通信4、模式4.1、点对点4.2、发布/订阅模式5、架构二、安装1、配置文件2、环境变量3、启动脚本4、命令行操作4.1、查看topic4.2、创建topic4.3、查看topic详情4.4、修改分区数--只增不能减4.5、删除topic4.6、生产者命令4.7、消费者命令三、kafka生产者1、架构图2、异
xuzhengzhou·2023-10-24 08:38

# Win10 安装和初步使用Kafka3.x

版本：kafka3.2.0。1、去官网下载版本：image2、本人放置路径为：F:\kafka\kafka_2.12-3.2.0，这是解压后的。3、需要修改\config下的一个配置server.properties，将数据文件路径修改为你需要的路径，本人如下：log.dirs=F:\kafka\logsimage4、回到F:\kafka\kafka_2.12-3.2.0，开始启动zookeepe
不知不怪·2023-10-11 03:09

Win10 安装和初步使用Kafka3.x

因为笔记本是windows系统，做大数据相关，需要方便地搭建运行环境，所以本文记录下使用win10系统如何跑kafka。版本：kafka3.2.0。1、去官网下载版本：微信图片_20220713132829.png2、本人放置路径为：F:\kafka\kafka_2.12-3.2.0，这是解压后的。3、需要修改\config下的一个配置server.properties，将数据文件路径修改为你需要
造化人·2023-10-09 23:01

kafka_2.13-2.8.1环境搭建

本次kafka环境主要针对kafka2.x版本，运行kafka服务之前，需要先搭建zookeeper服务，因为kafka服务依赖zookeeper，kafka3.x版本后可以不需要手动搭建zookeeper
木木夕木目心.HDS·2023-09-18 09:24

kafka集群之kraft模式

2.8版本之后，kafka3.x开始提供KRaft（KafkaRaft，依赖Java8+）模式，开始去除对zookeeper的依赖。最新的3.5版本中，Kafka依然兼容zo
羌俊恩·2023-08-29 05:09

【kafka】再见kafka2.x，欢迎去掉了zk的kafka3.x

目初期，对于消息队列，你会选择Kafka、ActiveMQ还是RabbitMQ？对于这个问题，反向来看，估计很少有人会选择Kafka，而kafka3.0的诞生彻底扭转了战局！image.png虽然凭借着高吞吐、低延迟的特性Kafka深受广大企业喜爱，但多年来由于zookeeper的“扶持性”限制，Kafka的运行深受掣肘：一方面从运维层面来看，同时运维zookeeper和Kafka两个不同的系统不
Bogon·2023-08-17 07:08

Kafka3.x原理图解

一、概述（一）、kafka的定义1、定义1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域2）kafka最新的定义：kafka是一个开源的分布式事件流平台（eventstreamplatform），主要用高性能数据管道，流分析，数据集成和关键任务等领域2、消息队列目前市面上大部分公司采用的消息队列主要有kafka，activeMQ，rabbi
rainple·2023-07-18 07:10

Kafka

资料来源视频：尚硅谷-Kafka3.x教程一、Kafka概述1.1定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue)，主要应用于大数据实时处理领域。
希昂的学习日记·2023-07-17 03:02

Kafka3.X Kraft模式常用命令

前言：从Kafka2.8版本开始，可以不用ApacheZookeeper来作为Kafka的依赖组件了，官网把这种称之为KRaft模式，移除了Zookeeper之后对应的部分命令也发生了变化。创建一个Topic(并指定partition为1、副本因子为3)kafka-topics.sh--bootstrap-serverip:port--create--topictopocName--partiti
王草草·2023-07-16 10:52

kafka3.x详解

kafka一、简介1.1、场景选择，与其他mq相比1.2、应用场景1.2.1、流量消峰1.2.2、解耦1.2.3、异步通讯1.3、消息队列的两种模式1.3.1、点对点模式1.3.2、发布/订阅模式1.4、Kafka基础架构二、安装部署2.1、安装包方式2.2、docker安装方式2.3、docker安装kafka-map图形化管理工具三、Kafka命令行操作3.1、主题命令行操作3.2、生产者命令
hmb↑·2023-06-13 14:44

Kafka入门篇学习笔记整理

Kafka入门篇学习笔记整理Kafka是什么Kafka的特性应用场景Kafka的安装单机版部署集群部署环境准备Kafka2.x集群部署Kafka3.x集群部署监听器和内外网络KRaft模型Docker安装
热爱编程的大忽悠·2023-04-12 22:39

Kafka3.x学习笔记(二)——生产者

Kafka3.x学习笔记(二)——生产者目录Kafka3.x学习笔记(二)——生产者对应课程生产者发送原理发送数据的JavaAPI异步发送异步发送回调同步发送分区意义规则提升数据的吞吐量发送数据的可靠性数据重复问题和去重情景分析幂等性原理生产者事务解决数据乱序问题对应课程
大灰煜·2023-04-09 10:59

2.生产者消息发送流程及API使用

学习尚硅谷kafka教程记录的笔记，视频地址：kafka3.x教程生产者消息发送流程在消息发送的过程中，涉及到了两个线程——main线程和Sender线程。
qq_42008471·2023-04-09 10:29

Kafka3.x核心知识速查手册-一、快速上手篇

Kafka介绍1、MQ的作用：2、Kafka的适用场景：二、Kafka快速上手1、实验环境2、单机服务体验3、搭建集群服务4、理解Topic、Partition和Broker5、Kraft集群--了解Kafka3
roykingw·2023-04-08 15:09

【学习笔记】大数据技术之Kafka3.x（生产调优手册）

生产调优手册第1章Kafka硬件配置选择1.1场景说明1.2服务器台数选择1.3磁盘选择1.4内存选择1.5CPU选择1.6网络选择第2章Kafka生产者2.1Kafka生产者核心参数配置2.2生产者如何提高吞吐量2.3数据可靠性2.4数据去重2.5数据有序2.6数据乱序第3章KafkaBroker3.1Broker核心参数配置3.2服役新节点/退役旧节点3.3增加分区3.4增加副本因子3.5手动
在学习的王哈哈·2023-04-03 23:48

kafka3.x学习

本文主要学记录了kafka3.x的一些知识。
夜间沐水人·2023-04-03 06:34

Kafka3.x学习记录(一)——集群和命令行操作

Kafka3.x学习记录(一)——集群和命令行操作目录Kafka3.x学习记录(一)——集群和命令行操作对应课程消息队列概述Kafka基础基础架构集群部署启动集群Kafka命令行操作主题命令行操作生产者命令行操作消费者命令行操作对应课程
大灰煜·2023-03-29 00:11

Kafka3.x核心速查手册三、服务端原理篇-3、Broker故障恢复机制

4、LeaderPartition自动平衡机制在一组Partiton中，LeaderPartition通常是比较繁忙的节点，因为他要负责与客户端的数据交互，以及向Follower同步数据。默认情况下，Kafka会尽量将LeaderPartition分配到不同的Broker节点上，用以保证整个集群的性能压力能够比较平均。但是，经过LeaderPartition选举后，这种平衡就有可能会被打破，让Le
roykingw·2022-12-10 11:26

Kafka3.x核心速查手册三、服务端原理篇-1、Zookeeper整体数据

这一部分主要是理解Kafka的服务端重要原理。但是Kafak为了保证高吞吐，高性能，很多具体实现都是相当复杂的。如果直接跳进去学习研究，很快就会晕头转向。所以，找一个简单清晰的主线就显得尤为重要。这一部分主要是从存储的角度来理解Kafka的Broker运行机制。这对于上一章节建立的简单模型，是一个很好的细节补充。Kafka依赖很多的存储数据，但是，总体上是有划分的。Kafka会将每个服务的不同之处
roykingw·2022-12-10 11:56

Kafka3.x核心速查手册三、服务端原理篇-2、Broker选举机制

2、ControllerBroker选举机制在Kafka集群进行工作之前，需要选举出一个Broker来担任Controller角色，负责整体管理集群内的分区和副本状态。选举Controller的过程就是通过抢占Zookeeper的/controller节点来实现的。当一个集群内的Kafka服务启动时，就会尝试往Zookeeper上创建一个/controller临时节点，并将自己的brokerid写
roykingw·2022-12-10 11:56

Kafka3.x监控

kafka从2012年11月加入Apache，转眼已经过去了十个年头。0.8版本，引入了副本机制，弃用了旧版Scala客户端，诞生了消息格式v00.10版本，消息格式升至v10.11版本，新增了事务能力，消息格式升至v21.0版本，支持Java9的支持2.0版本，放弃了对Java7的支持，并删除了之前已弃用的Scala生产者和消费者。2.1版本，Java11支持2.8版本，使用自有的KRaft替换
RealZeal·2022-10-30 22:59

Kafka3.x核心速查手册二、客户端使用篇-3、消息序列化机制

在之前的简单示例中，Producer指定了两个属性KEY_SERIALIZER_CLASS_CONFIG和VALUE_SERIALIZER_CLASS_CONFIG，对于这两个属性，在ProducerConfig中都有配套的说明属性。publicstaticfinalStringKEY_SERIALIZER_CLASS_CONFIG="key.serializer";publicstaticfin
roykingw·2022-09-08 15:53

Kafka3.x核心速查手册二、客户端使用篇-4、消息路由机制

了解前面两个机制后，你自然会想到一个问题。就是消息如何进行路由？也即是两个相关联的问题。Producer会根据消息的key选择Partition，具体如何通过key找Partition呢？一个消费者组会共同消费一个Topic下的多个Partition中的同一套消息副本，那Consumer节点是不是可以决定自己消费哪些Partition的消息呢？这两个问题其实都不难，你只要在几个Config类中稍微
roykingw·2022-09-08 15:23

Kafka3.x入门-Kafka概述

kafka概述1.1kafak定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公
时迁"·2022-09-08 10:59

Kafka3.x详细笔记

文章目录Kafka3.x一、Kafka简介1.1、定义1.2、消息队列1.2.1、传统消息队列的应用场景1.2.2、消息队列的两种模式1.3、Kafka基础架构二、Kafka快速入门2.1、安装部署2.1.1
渣渣苏·2022-08-29 12:04

Kafka 3.x 三万三千字精讲（侧重原理）

Kafka3.x一、Kafka原理1.Kafka基础架构1）发布订阅模式2）架构模型2.生产消息原理1）原理概述2）数据可靠性3.broker工作原理1）kafka在zk上存储的信息2）副本Leader
运维小菜·2022-04-19 09:07

kafka3.x原理详解看这篇就够了

一、概述（一）、kafka的定义1、定义1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域2）kafka最新的定义：kafka是一个开源的分布式事件流平台（eventstreamplatform），主要用高性能数据管道，流分析，数据集成和关键任务等领域2、消息队列目前市面上大部分公司采用的消息队列主要有kafka，activeMQ，rabbi
rainple·2022-02-22 23:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他