Kafka系列

Kafka系列之：kafka命令详细总结

Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host
快乐骑行^_^·2024-09-14 08:55

kafka系列之：使用python消费kafka Topic数据

kafka系列之：使用python消费kafkaTopic数据一、创建kafkaConsumer三、查看分区四、查看分区信息五、查看当前消费的Topic六、获取当前消费者可消费的偏移量七、获取当前Topic
快乐骑行^_^·2024-08-30 16:37

Kafka系列之：删除kafka Topic和元信息

Kafka系列之：删除kafkaTopic和元信息一、kafka删除topic二、删除kafkatopic在zookeeper中的元信息一、kafka删除topic确定不再使用Kafka中的一个主题，最好的使用方式是将其删除
最笨的羊羊·2024-08-26 08:06

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：kafka集群管理工具KnowStreaming安装详细步骤一、安装JDK-11二、安装mysql数据库详细步骤三、安装Elasticsearch数据库详细步骤四、安装KnowStreaming
最笨的羊羊·2024-02-09 15:41

Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []

Kafka系列之：UnexpectedhandshakerequestwithclientmechanismPLAIN,enabledmechanismsare[]一、完整报错二、错误原因三、解决方法一
最笨的羊羊·2024-02-09 15:41

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据一、基于日志大小二、基于时间大小三、参数设置四、设置命令一、基于日志大小"log.retention.bytes"是
最笨的羊羊·2024-02-09 15:09

Kafka系列（二）将消息数据写入Kafka系统--生产者【异步发送、同步发送、单线程发送、多线程发送、配置生产者属性、自定义序列化、自定义主题分区】

Kafka系列发送消息到Kafka主题了解异步模式了解同步模式线程发送消息的步骤生产者用单线程发送消息生产者用多线程发送消息配置生产者属性保存对象的各个属性一序列化序列化一个对象序列化对象的存储格式自己实现序列化的步骤
_蓝天IT_·2024-02-05 05:06

Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】

kafka系列一一、消息队列1.消息队列的来源2.什么是消息队列3.消息队列主要有哪些作用二、Kafka的基本概念代理、生产者、消费者、消费者组主题、分区、副本、记录三、了解Kafka的工作机制-生产消息
_蓝天IT_·2024-02-04 06:57

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

Kafka系列之：不重启kafka集群设置kafkatopic数据保留时间一、kafkatopic数据保留3天的bash命令二、查看kafka删除数据日志三、批量设置上千个topic保留3天数据1.构建
最笨的羊羊·2024-01-31 07:57

【Kafka系列】生产级集群参数配置

目录1.概述2.Bocker端参数2.1存储相关配置2.2Zookeeper相关配置2.3Brocker连接相关配置2.4Topic管理相关配置2.5数据存留相关配置3.Topic级别参数4.JVM参数5.操作系统参数6.小结1.概述本文将从Bocker端参数、Topic级别参数、JVM端参数、操作系统级别参数分别介绍Kafka集群参数应该怎么配置。文中提到的这些参数都很重要，请读者仔细阅读理解，
Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka副本机制详解

目录1.前言2.副本定义3.副本角色4.In-syncReplicas（ISR）5.Unclean领导者选举（UncleanLeaderElection）6.小结1.前言所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及
Hyatt1024·2024-01-30 23:44

【Kafka系列】Kafka线上集群部署方案

目录前言操作系统磁盘磁盘容量带宽小结前言Kafka线上集群部署方案怎么做？既然是集群部署，那必然就要有多个Kafka节点机器，且需要仔细地考量各种因素，结合自身的业务需求而制定。下面分别从操作系统、磁盘、磁盘容量和带宽等方面探讨一下。操作系统首先我们先看看要把Kafka安装到什么操作系统上。说起操作系统，可能你会问Kafka不是JVM系的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不
Hyatt1024·2024-01-30 23:13

领航分布式消息系统：一起探索Apache Kafka的核心术语及其应用场景

本文是Kafka系列文章的第一篇，将带你了解Kafka的核心术语及其应用场景，后续会逐步探索其各方面的原理及应用场景。
超越不平凡·2024-01-21 15:27

Kafka系列（二）、架构原理及存储机制

目录架构原理架构工作流程控制器存储机制kafka高性能的秘密Kafka系列：kafka2.4.1单机版部署及使用kafka监控系统kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用
王义凯_Rick·2024-01-20 08:56

大数据 - Kafka系列《一》- Kafka基本概念

目录1.1什么是kafka1.2Kafka可以用来做什么1.3kafka的特点1.高吞吐量、低延迟2.可扩展性3.持久性、可靠性4.容错性5.高并发1.4Kafka的基本架构1.Producer:生产者2.Broker：中间组件，存储数据Topic：主题。类似于表的概念partition：分区。类似于hbase里面的region的概念3.Consumer：消费者4.Zookeeper1.1什么是k
王哪跑nn·2024-01-18 15:05

Kafka系列(四)

本文接kafka三，代码实践kafkaStream的应用，用来完成流式计算。kafkastream关于流式计算也就是实时处理，无时间概念边界的处理一些数据。想要更有性价比地和java程序进行结合，因此了解了kafka。但是本人阅读了kafka地官网，觉得可阅读性并不是很高，当然是个人认为，就是界面做的就不是很舒服。简介简介一下kafkaStreamKafkaStream的特点KafkaStream
happystudy_neu·2024-01-17 07:32

Kafka系列(三）

本章内容继前两章1，2知识点后，开始结合java实际代码开发进行实践。其中三将讲述kafka座位消息中间件的代码样例，四将讲述kafka的stream流式计算处理。消息中间件首先说明一下，需要在虚拟机里面配置kafka，而kafka又依赖于zookeeper，它的一些元数据等都存储在zookeeper里。如果需要了解如何安装kafka可以评论，这里不作为重点。代码pom依赖org.springfr
happystudy_neu·2024-01-16 19:07

Kafka系列（一）

内容该系列主要是复习期间，通过浏览资料记录的一些笔记和重点，用于日常学习和学习后的总结。组件概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能zookeeperZK用来管
happystudy_neu·2024-01-16 10:20

kafka系列(二）

本章承接kafka一内容，文章在本人博客主页都有，可以自行点击浏览。幂等性请求执行多次，但执行的结果是一致的。如果，某个系统是不具备幂等性的，如果用户重复提交了某个表格，就可能会造成不良影响。例如：用户在浏览器上点击了多次提交订单按钮，会在后台生成多个一模一样的订单。kafka幂等性在生产者生产消息时，如果出现retry时，有可能会一条消息被发送了多次，如果Kafka不具备幂等性的，就有可能会在p
happystudy_neu·2024-01-16 10:48

Kafka(Go)教程(一)---通过docker-compose 安装 Kafka

Kafka系列相关代码见Github2.docker-compose.yaml完整的docker-compose.yaml内容如下：当前Kafka还依赖
lililidahaoren·2024-01-11 08:43

Kafka系列之：kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression

Kafka系列之：kafka.errors.UnsupportedCodecError:UnsupportedCodecError:Librariesforsnappycompression一、完整错误二
最笨的羊羊·2024-01-03 13:18

Kafka系列3-Kafka架构

一.工作流程Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。image.pngTopic是逻辑上的改变，Partition是物理上的概念，每个Partition对应着一个log文件，该log文件中存储的就是producer生产的数据，topic=N*partition；partition=logProducer生产的数据会被不断的
只是甲·2023-12-31 19:15

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数一、创建KafkaAdminClient二、获取kafka集群topic元信息三、获取每个topic的名称、分区数
最笨的羊羊·2023-12-15 23:29

Kafka系列 - 生产者客户端架构以及3个重要参数

整体架构整个生产者客户端由两个县城协调运行，这两个线程分别为主线程和Sender线程（发送线程）。主线程中由KafkaProducer创建消息，然后通过可能的拦截器，序列化器和分区器之后缓存到消息累加器（RecordAccumulator）。Sender线程负责从RecordAccumulator中获取消息并将其发送到kafka中。RecordAccumulator主要用来缓存消息以便Sender
胡桃姓胡，蝴蝶也姓胡·2023-11-25 17:38

kafka系列-入门篇之基础概念

定义官方对kafka的定义，kafka是一个分布式流平台。听起来让人感觉很陌生，实际使用中，你会觉得kafka是一个发布-订阅的消息队列平台。它和我们熟知的一些消息队列中间件比起来，在功能上更加强大，性能上也是非常高效的。特性可扩展性，kafka搭建在分布式集群服务器上，支持水平无限扩展。容错性，kafka将数据副本存放在多台服务器上，避免服务器故障影响运行。高吞吐量，使用6块7200转SATA的
马各马它·2023-11-25 17:33

Kafka系列 - Kafka一篇入门

Kafka是一个分布式流式处理平台。很多分布式处理系统，例如Spark，Flink等都支持与Kafka集成。Kafka使用场景消息系统：Kafka实现了消息顺序性保证和回溯消费。存储系统：Kafka把消息持久化到磁盘，相比于其他基于内存的系统而言，有效的降低了数据丢失的风险。Kafka的消息持久化和多副本机制使得我们可以把Kafka作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为永久
胡桃姓胡，蝴蝶也姓胡·2023-11-25 17:01

深入理解Kafka系列（七）--管理Kafka

深入理解Kafka系列（七）--管理Kafka系列文章目录前言正文主题操作创建主题增加分区其他操作消费者群组偏移量管理动态配置变更覆盖主题的配置项覆盖客户端的配置其他相关操作分区管理首选的首领选举修改分区副本转储日志片段消费和生产控制台生产者控制台消费者不安全的操作移动集群控制器取消分区重分配移出待删除的主题手动删除主题总结系列文章目录
Zong_0915·2023-11-24 15:22

kafka——集群安裝部署(自带zookeeper)

kafka系列文章第一章linux单机安装第二章kafka——集群安裝部署(自带zookeeper)一、kafka简介kafka官网：http://kafka.apache.org/kafka下载页面：
厌学的小骚年·2023-11-12 10:31

Kafka系列3-Kafka架构

文章目录一.工作流程二.文件存储三.生产者分区策略四.生产者ISR4.1副本数据同步策略4.1.1半数follower同步完成即发送ack4.1.2全部follower同步完成完成发送ack4.1.3kafka的选择4.2ISR(同步副本集)五.生产者ack机制六.数据一致性问题七.ExactlyOnce八.Kafka消费者分区分配策略8.1.分区分配策略8.2.消费者offset的存储九.高效读
只是甲·2023-11-08 17:13

Kafka系列：查看Topic列表、消息消费情况、模拟生产者消费者

1、查看kafka队列中topic信息1.1、查看所有topic./kafka-topics.sh--zookeeper10.128.106.52:2181--list1.2、查看kafka中指定topic的详情./kafka-topics.sh--zookeeper10.128.106.52:2181--topicai_jl_analytic--describe2、查看消费者consumer的g
不出名的老六·2023-10-30 03:24

Kafka系列 - 深入探究broker

1.背景主要从控制器、consumer主题管理、kafka的副本机制三个方面对broker进行深入研究，梳理清楚broker端的一些基础流程。注意：文章中的部分内容节选自极客时间《kafka核心技术与实战》。2.控制器控制器的作用？在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（KafkaController）。1.管理整个集群中所有分区和副本的状态。比如：某
阿健2020·2023-10-28 07:45

5、kafka监控工具Kafka-Eagle介绍及使用

ApacheKafka系列文章1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试2、java调用kafkaapi3、kafka重要概念介紹及示例4、kafka分区、副本介绍及示例5、kafka
一瓢一瓢的饮 alanchan·2023-10-26 00:45

kafka系列（04）：Kafka分区和副本机制理解

1.kafka分区机制分区机制是kafka实现高吞吐的秘密武器，但这个武器用得不好的话也容易出问题，今天主要就来介绍分区的机制以及相关的部分配置。首先，从数据组织形式来说，kafka有三层形式，kafka有多个主题，每个主题有多个分区，每个分区又有多条消息。而每个分区可以分布到不同的机器上，这样一来，从服务端来说，分区可以实现高伸缩性，以及负载均衡，动态调节的能力。当然多分区就意味着每条消息都难以
快快乐乐#·2023-10-23 05:41

Kafka系列（五）、开启SASL安全认证以及配置ACL权限控制

目录开启SASL控制台配置用户ACL授权Python客户端访问ACL常用命令Kafka系列：kafka2.4.1单机版部署及使用kafka监控系统kafkaeagle安装使用滴滴开源的kafka-manager
王义凯_Rick·2023-10-20 13:07

【弄nèng - Kafka】应用篇（七） —— Springboot整合Kafka（消息过滤）

文章目录一.简介二.消息过滤2.1引入依赖2.2Kafka配置2.2.1生产者2.2.2消费者2.2.3测试源码地址项目推荐该篇博客实现Springboot整合kafka,消息过滤更多高级用法请看我的博客Kafka
司马缸砸缸了·2023-10-17 15:08

【弄nèng - Kafka】应用篇（五） —— Springboot整合Kafka（事务）

2.2.2消费者2.2.3测试三.使用KafkaTemplate.executeInTransaction开启事务源码地址项目推荐该篇博客实现Springboot整合kafka,事务更多高级用法请我的博客kafka
司马缸砸缸了·2023-10-17 15:07

Kafka系列之—Kafka Broker安装（三）

一下载ApacheKafkaApacheKafka:ADistributedStreamingPlatform.https://kafka.apache.org/downloads.html二安装将Kafka安装在/usr/local/kafka目录下，使用之前配置好的Zookeeper,并把消息日志保存在/tmp/kafka-logs目录下tar-zxfkafka_2.12-3.1.1.tgzm
葛旭朋·2023-10-11 07:58

Kafka是什么，以及如何使用SpringBoot对接Kafka

系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka系列文章目录一、Kafka与流处理二、SpringBoot
战斧·2023-10-08 18:10

11.Kafka系列之Stream实践

KafkaStreams是一个基于ApacheKafka的处理库，可以用于实现高效、可扩展的实时数据处理应用程序。它是一个轻量级的库，允许你在Java和Scala中创建和运行流处理应用程序，这些应用程序可以读取输入流，执行各种数据转换，然后将处理后的结果发送到输出流。1.主要优势1.简单易用：KafkaStreams提供了一个简单易用的编程模型，让你能够轻松地编写和调试流处理应用程序2.高效性能：
沈健_算法小生·2023-10-08 17:50

Kafka系列之：深入理解Kafka消费者

Kafka系列之：深入理解Kafka消费者一、消费者与消费组二、消费者与订阅主题之间的分区分配策略三、消息投递模式四、客户端开发五、订阅主题与分区六、反序列化七、使用通用的序列化工具实现自定义的序列化器和反序列化器
最笨的羊羊·2023-09-21 05:31

终于产完了！Kafka 打怪升级进阶成神之路（2023最新版）

截止今天，又一个知识体系的学习之旅：消息中间件Kafka系列卷完了。希望大家能够从中收获多多！
·2023-09-19 22:51

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
程序员朱永胜·2023-09-19 01:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址[1]文章更新计划[2]系列文章地址[3]Kafka线上集群部署方案怎么做操作系统先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几个原因：操作系统优化：Linux操作系统在网络和文件系统性能方面通常比Windows和Mac更
程序员朱永胜·2023-09-19 01:15

【Kafka系列】（二）Kafka的基本使用

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址文章更新计划系列文章地址Kafka线上集群部署方案怎么做操作系统先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几个原因：操作系统优化：Linux操作系统在网络和文件系统性能方面通常比Windows和Mac更优秀。Linux内
·2023-09-18 23:06

【日记】文章更新计划

,pink%}第一版发布【完结~开发规范系列】Linux系列重新定位，不再只是简单的说常用命令周二rocketmq更换为nginx系列微服务内容变更，现在主要说架构方便的内容周四变更为设计模式系列更新Kafka
·2023-09-18 23:32

【深入理解Kafka系列】 第二章 生产者

生产者就是负责向Kafka发送消息的应用程序。Kafka一共两个大版本的客户端，第一个是开源之处使用Scala编写的客户端；第二个是0.9.x版本开始推出的java编写的客户端。1、客户端开发一个正常的生产逻辑需要以下几个步骤：（1）配置生产者客户端参数及创建相应的生产者实例。（2）构建待发送的消息（3）发送消息（4）关闭生产者实例需要单独说明下构建消息的ProducerRecord，它包含了多个
代码搬运工.·2023-09-10 22:03

Kafka系列之入门(荣耀典藏版)

目录一、为什么要用消息中间件？1、异步处理2、应用解耦3、流量削峰4、日志处理二、为什么选择Kafka？消息中间件的编年史1、Kafka的外在表现和内在设计2、市场主流消息中间件对比三、Kafka中的基本概念1、消息和批次2、主题和分区3、生产者和消费者、偏移量、消费者群组4、Broker和集群5、保留消息四、为什么选择Kafka1、优点2、常见场景2.1活动跟踪2.2传递消息2.3收集指标和日志
海棠Flower未眠·2023-09-05 08:35

【Kafka系列】（一）Kafka入门

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址系列文章地址Kafka是什么？一句话概括：「ApacheKafka是一款开源的消息引擎系统」什么是消息引擎系统？消息引擎系统（MessageBrokerSystem）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处
程序员朱永胜·2023-09-05 08:32

【Kafka系列】（一）Kafka入门

有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址系列文章地址Kafka是什么？一句话概括：ApacheKafka是一款开源的消息引擎系统什么是消息引擎系统？消息引擎系统（MessageBrokerSystem）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处理的
·2023-09-04 23:08

Kafka系列七存储机制

文章首发于个人博客，欢迎访问关注：https://www.lin2j.techKafka在设计之初就将数据的持久化视为通常情况，关注点放在了吞吐量而不是功能。Kafka采取简单的读取和内容附加到日志文件中，这种操作的好处是读写都是O(1)O(1)O(1)的复杂度，而且读取不影响写入操作。除此之外，数据量的大小对性能几乎没有影响，对于过期的数据也能采取简单方式删除。Kafka之所以采用这种读写方式，
哆啦酱不加班·2023-08-31 15:08
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他