Kafka系列

【日记】文章更新计划

内容周更【周一】Kafka系列：搭建、使用、原理【周二】RocketMq系列：
·2023-08-30 13:00

【日记】文章更新计划

内容周更【周一】Kafka系列：搭建、使用、原理[2]【周二】Rocke
程序员朱永胜·2023-08-30 11:08

Kafka系列之—SpringBoot项目整合Spring-kafka和事务消息实战（六）

一Springboot项目整合spring-kafka依赖发送消息1.1添加pom文件org.springframework.kafkaspring-kafka1.2配置文件修改增加生产者信息spring:kafka:bootstrap-servers:112.74.55.160:9092,112.74.55.160:9093,112.74.55.160:9094producer:#消息重发的次数
葛旭朋·2023-08-28 06:20

Kafka集群搭建(四节点)

Zookeeper及Kafka系列系列文章Zookeeper及Kafka系列(1)―ZooKeeper集群搭建(四节点)Zookeeper及Kafka系列(2)―Kafka集群搭建(四节点)提示：写完文章后
TheFeasterfromAfar·2023-08-18 11:50

终于产完了！Kafka 打怪升级进阶成神之路（2023最新版）

截止今天，又一个知识体系的学习之旅：消息中间件Kafka系列卷完了。希望大家能够从中收获多多！
·2023-08-17 11:09

详解Kafka分区机制原理｜Kafka 系列 二

Kafka系列第二篇，详解分区机制原理。为了不错过更新，请大家将本号“设为星标”。
西海幼鸟·2023-08-08 06:51

Kafka系列之：详细介绍部署Kafka Connect分布式集群

Kafka系列之：详细介绍部署KafkaConnect分布式集群一、部署分布式Kafka集群详细步骤二、KafkaWorker节点安装部署Kafka三、修改connect-distributed.properties
最笨的羊羊·2023-08-02 08:49

Kafka系列之：使用kafka manager增加topic分区和副本

Kafka系列之：使用kafkamanager增加topic分区和副本）一、相关技术博客二、增加分区三、增加副本一、相关技术博客Kafka系列之：实现kafkatopic优先副本的选举Kafka系列之：
最笨的羊羊·2023-08-02 08:49

Kafka系列之：日志清理

Kafka系列之：日志清理一、日志清理二、日志删除三、基于时间的日志删除四、基于日志大小的日志删除五、基于日志起始偏移量一、日志清理Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作
最笨的羊羊·2023-08-02 08:48

Kafka系列之：Kafka消费组中消费者再均衡的原理

Kafka系列之：Kafka消费组中消费者再均衡的原理一、GroupCoordinator和ConsumerCoordinator二、再均衡操作阶段1.第一阶段：FIND_COORDINATOR2.第二阶段
最笨的羊羊·2023-08-02 08:48

Kafka系列之：Broker配置

Kafka系列之：Broker配置1.advertised.listeners发布到ZooKeeper以供客户端使用的侦听器2.auto.create.topics.enable在服务器上启用自动创建主题
最笨的羊羊·2023-08-02 08:18

Kafka系列之：增加Kafka节点扩展Kafka集群

Kafka系列之：增加Kafka节点扩展Kafka集群一、增加Kafka节点二、分区重新分配工具三种工作模式三、自动将数据迁移到新机器四、自定义分区分配和迁移五、增加复制因子六、在数据迁移期间限制带宽使用一
最笨的羊羊·2023-08-02 08:18

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

Kafka系列之：记录一次KafkaTopic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法一、背景二、解决方法三、实现自动发现新的分区一、背景生产环境Kafka集群压力大，Topic
最笨的羊羊·2023-08-02 08:47

Kafka系列之：安装Know Streaming详细步骤

Kafka系列之：安装KnowStreaming详细步骤一、相关技术博客二、安装elasticsearch1.下载elasticsearch2.创建数据目录3.创建es用户4.修改最大文件数5.解压elasticsearch6
最笨的羊羊·2023-08-01 07:18

Spring-Kafka系列(2)——SpringKafka生产者KafkaTemplate

SpringKafka的配置2.1SpringKafka配置2.1.1Kafka配置类KafkaProperties2.2SpringKafka生产者KafkaTemplate2.2.1创建一个生产者KafkaTemplate2.2.2KafkaTemplate发送消息方法2.2.3生产者消息回调ProducerListener2.1SpringKafka配置SpringBoot为Kafka提供了
冷雨夜中漫步·2023-07-30 11:23

Kafka系列——详解创建Kafka消费者及相关配置

创建消费者在读取消息之前，需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里，后面深入讨论所有属性。这里我们只需要使用3个必要的属性：bootstrap.servers、key.deserializer和value.deserializer。bootstrap.serv
zxu_er·2023-07-22 14:10

Kafka系列之：实现对Kafka集群的监控

Kafka系列之：实现对Kafka集群的监控一、Kafka监控数据二、同步失效分区三、监控指标一、Kafka监控数据Kafka监控指标：broker指标、主题的指标，集群层面的指标可以通过各个broker
最笨的羊羊·2023-07-15 19:03

apache kafka系列之log4j配置

apachekafka中国社区QQ群:162272557kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中:kafka.logs.dir=logslog4j.rootLogger=INFO,stdoutlog4j.appender.stdout=org.apac
幽灵之使·2023-07-15 13:36

Kafka系列之：消息路由

Kafka系列之：消息路由一、消息路由二、Kafka实现消息路由一、消息路由消息路由是消息中间件中常见的一个概念，比如在典型中间件RabbitMQ中就使用路由键RoutingKey来进行消息路由。
最笨的羊羊·2023-07-14 13:02

Kafka系列之：Kafka生产者和消费者

Kafka系列之：Kafka生产者和消费者一、Kafka生产者发送流程二、提高生产者吞吐量三、Kafka消费方式四、Kafka消费者总体工作流程五、按照时间消费KafkaTopic一、Kafka生产者发送流程
最笨的羊羊·2023-07-14 13:36

Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法

Kafka系列之：基于ApacheKafkaConnect实现端到端topic数据字段级加密的详细方法一、背景二、加密数据降低数据泄露的风险三、Kafka代理外部的加密四、数据加密方法五、Kafka代理外部加密的优点六
最笨的羊羊·2023-07-14 13:48

Kafka系列之：Apache Kafka端到端安全性，实现数据加密

Kafka系列之：ApacheKafka端到端安全性，实现数据加密一、背景二、Kafka的加密算法三、消息处理链四、实现数据加密五、使用数据加密六、基准测试七、局限性八、结论九、完整代码一、背景ApacheKafka
最笨的羊羊·2023-07-13 22:49

Kafka系列之：连接器客户端配置覆盖策略

Kafka系列之：连接器客户端配置覆盖策略一、背景二、公共接口三、推荐的改动四、兼容性、弃用和迁移计划一、背景KAFKA引入了每个源连接器和接收器连接器从工作线程属性继承其客户端配置的功能。
最笨的羊羊·2023-06-24 02:52

Kafka系列之：对源连接器的的Exactly-Once支持

Kafka系列之：对源连接器的的Exactly-Once支持一、背景二、目标三、公共接口四、连接器API扩展五、RESTAPI验证六、新指标七、计划变更八、任务计数记录九、重新平衡的准备十、源任务启动十一
最笨的羊羊·2023-06-23 19:02

Kafka系列之：一次性传送和事务消息传递

Kafka系列之：一次性传送和事务消息传递一、目标二、关于事务和流的一些知识三、公共接口四、示例应用程序五、新配置六、计划变更1.幂等生产者保证2.事务保证七、关键概念八、数据流九、授权十、RPC协议总结
最笨的羊羊·2023-06-23 19:59

Kafka系列之：自定义转换Transformation

Kafka系列之：自定义转换Transformation一、自定义转换二、Transformation示例一、自定义转换如果可用的单一消息转换(SMT)均未提供必要的转换，可以创建自己的转换。
最笨的羊羊·2023-06-21 22:56

Apache Kafka系列(五) Kafka Connect及FileConnector示例

ApacheKafka系列(五)KafkaConnect及FileConnector示例ApacheKafka系列(一)起步ApacheKafka系列(二)命令行工具（CLI）ApacheKafka系列
达微·2023-04-16 23:37

Kafka系列——详解Kafka Connect以及其和客户端API之间的区别

如何选择ConnectAPI和客户端API，它们的区别是什么在向Kafka写入数据或从Kafka读取数据时，要么使用传统的生产者和消费者客户端，要么使用后面即将介绍的ConnectAPI和连接器。在具体介绍ConnectAPI之前，思考这样一个问题：“什么时候适合用哪一个？”我们知道，Kafka客户端是要被内嵌到应用程序里的，应用程序使用它们向Kafka写入数据或从Kafka读取数据。如果你是应用
zxu_er·2023-04-14 10:14

Kafka系列——Kafka数据通道指南，总结遇到的以及需要考虑的问题因素

Kafka作为数据管道的使用场景在使用Kafka构建数据管道时，通常有两种使用场景：第一种，把Kafka作为数据管道的两个端点之一：例如，把Kafka里的数据移动到S3上，或者把MongoDB里的数据移动到Kafka里；第二种，把Kafka作为数据管道两个端点的中间媒介：例如，为了把Twitter的数据移动到ElasticSearch上，需要先把它们移动到Kafka里，再将它们从Kafka移动到E
zxu_er·2023-04-14 00:06

Linux文本处理三剑客之sed实战MongoDB数据批量导入

参考文章Kafka系列之消息重新消费里提到的背景。
johnny233·2023-04-13 09:53

《Kafka系列》Offset Explorer连接Kafka问题集合,Timeout expired while.. topic metadata，Uable to find any brokers

OffsetExplorer连接Kafka问题集合，(Timeoutexpiredwhilefetchingtopicmetadata),(Uabletofindanybrokers)一、Timeoutexpiredwhilefetchingtopicmetadata1.OffsetExplorer配置好zookeeper的连接地址后2.在查看Topics的时候，报错Timeoutexpiredw
DATA数据猿·2023-04-13 04:15

《Kafka系列》kafka创建topic失败， Replication factor: 1 larger than available brokers: 0

kafka创建topic失败，Replicationfactor:1largerthanavailablebrokers:01.创建语句如下所示，按照习惯在添加zookeeper参数的时候，指定了zxy:2181/kafka，但是却创建失败，Errorwhileexecutingtopiccommand:Replicationfactor:1largerthanavailablebrokers:0
DATA数据猿·2023-04-13 04:45

《Kafka系列》Kafka详细教程入门

Kafka1消息队列——消息中间件1.1消息队列的作用1.2消息队列的概念——MQMessage在互联网中，多台设备产生通信的数据的总称：可以是视频、文本、音频等等。Quene一种特殊的线性表，满足先进先出的原则。1.3消息队列的种类MQ分为两种:P2P:peertopeerPub/Sub:发布与订阅1.3.1peertopeer1.3.2pub/sub1.3.3二者之间的区别共同点：消息生产者将
DATA数据猿·2023-04-13 04:45

Kafka系列——详解如何使用和配置生产者实现可靠的消息发送

在可靠的系统里使用生产者即使我们尽可能把broker配置得很可靠，但如果没有对生产者进行可靠性方面的配置，整个系统仍然有可能出现突发性的数据丢失。比如下面的两个例子：（一）为broker配置了3个副本，并且禁用了不完全首领选举，这样应该可以保证万无一失。我们把生产者发送消息的**acks设为1**（只要首领接收到消息就可以认为消息写入成功）。生产者发送一个消息给首领，首领成功写入，但跟随者副本还没
zxu_er·2023-04-09 23:49

Kafka系列——详解如何使用消费者处理偏移量实现可靠性消费

我们已经学习了如何在保证Kafka可靠性的前提下生产数据，现在来看看如何在同样的前提下读取数据。我们知道，只有那些被提交到Kafka的数据（也就是那些已经被写入所有同步副本的数据）对消费者是可用的，这意味着消费者得到的消息已经具备了一致性。消费者与偏移量消费者唯一要做的是跟踪哪些消息是已经读取过的，哪些是还没有读取过的。这是在读取消息时不丢失消息的关键。在从分区读取数据时，消费者会获取一批事件，检
zxu_er·2023-04-09 23:49

【深入理解Kafka系列】第四章 主题与分区

主题和分区是Kafka的两个核心概念，主题作为消息的归类，可以再细分为一个或者多个分区，分区可以看作是对消息的二次归类。分区的划分不仅可以为Kafka提供了可伸缩性，水平扩展能力，还可以通过副本机制来为Kafka提供数据冗余以提高数据的可靠性，为了做到均匀分布，通常partition的数量通常是BrokerServer数量的整数倍。从底层上来说，主题和分区都是逻辑上的概念。分区可以有一个或多个副本
代码搬运工.·2023-04-07 08:02

【深入理解Kafka系列】第五章 日志存储

前几章已经讲解了kafka的基本知识，我们已经能较好的用kafka来完成基本的开发任务，接下来了解一下内部的一些细节，便于知道相关的原理。本章主要讲kafka日志存储相关的知识。1、文件目录布局回顾之前所学的知识：Kafka中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根
代码搬运工.·2023-04-07 08:02

【深入理解Kafka系列】第六章 __consumer_offsets(位移主题)

1、__consumer_offsets消费者位移提交的内容最终会保存到Kafka的内部主题__consumer_offsets中，和你创建的其他主题一样，位移主题就是普通的Kafka主题。你可以手动地创建它、修改它，甚至是删除它；当集群中第一次有消费者消费消息时会自动创建主题__consumer_offsets，它的副本因子还受offsets.topic.replication.factor参数
代码搬运工.·2023-04-07 08:02

【Kafka】精炼讲解之基础架构篇

前言今天开个新坑，从0开始学习Kafka系列，力求以最精炼易懂的方式，将Kafka基础完成，最终能够具备基础的Kafka实践研究能力。
青是清水的青·2023-04-06 23:01

Kafka系列——详解kafka消息的物理存储及分区分配，清理等功能

Kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制（一个挂载点由单个磁盘或多个磁盘组成，如果配置了JBOD就是单个磁盘，如果配置了RAID，就是多个磁盘。）。在配置Kafka的时候，管理员指定了一个用于存储分区的目录清单——也就是log.dirs参数的值（不要把它与存放错误日志的目录
zxu_er·2023-04-04 20:02

Kafka系列——详解如何保证数据的可靠性

与性能一样，在系统的设计之初就应该考虑可靠性问题，而不能在事后才来考虑。同时，可靠性是系统的一个属性，而不是一个独立的组件，所以在讨论Kafka的可靠性保证时，还是要从系统的整体出发。Kafka在数据传递可靠性方面具备很大的灵活性。我们知道，Kafka可以被用在很多场景里，从跟踪用户点击动作到处理信用卡支付操作。有些场景要求很高的可靠性，而有些则更看重速度和简便性。Kafka被设计成高度可配置的，
zxu_er·2023-04-04 20:32

Kafka系列之：Kraft模式

Kafka系列之：Kraft模式一、Kraft架构二、Kafka的Kraft集群部署三、初始化集群数据目录四、创建KafkaTopic五、查看KafkaTopic六、创建生产者七、创建消费者一、Kraft
最笨的羊羊·2023-04-02 02:41

Kafka系列之：深入理解Kafka集群调优

Kafka系列之：深入理解Kafka集群调优一、Kafka硬件配置选择二、Kafka内存选择三、CPU选择四、网络选择五、生产者调优六、broker调优七、消费者调优八、Kafka总体调优一、Kafka
最笨的羊羊·2023-04-02 01:59

kafka系列3----可靠性与运维

1、说明注意，本文说的副本包括Leader和Follower副本2、复制Kafka允许topic的partition拥有若干副本，你可以在server端配置partition的副本数量。当集群中的节点出现故障时，能自动进行故障转移，保证数据的可用性。正常情况下，每个分区都有一个leader和零或多个followers。总的副本数是包含leader的总和。所有的读写操作都由leader处理。Foll
花公子丶·2023-04-01 08:26

Kafka系列——深入理解Kafka集群成员，控制器以及复制功能

集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到Zookeeper。Kafka组件订阅Zookeeper的**/brokers/ids**路径（broker在Zookeeper上的注册路径），当有broker加入集群或退出集群时，这些组
zxu_er·2023-03-30 21:49

kafka系列第5篇：一文读懂消费者背后的那点"猫腻"

前言经过前几篇文章的介绍，大致了解了生产者背后的运行原理。消息有生产就得有人去消费，今天我们就来介绍下消费端消费消息背后发生的那点事儿。文章概览1.消费者与消费组的“父子关系”。2.Repartition触发时机。3.消费者与ZK的关系。4.消费端工作流程。5.消费者的三种消费情况。消费者与消费组的“父子关系”消费者消费组关系图Kafka消费端确保一个Partition在一个消费者组内只能被一个消
z小赵·2023-03-24 18:15

Kafka系列（七）：Kafka设计原理

Kafka设计原理副本与ISR设计水印和leaderepochcontroller的职责副本与ISR设计一个kafak分区本质上就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统的高可用性，这些备份在kafka中被称为副本。kafka把所有分区的副本均匀地分配到broker上，并能从这些副本中挑选一个副本作为一个leader副本对外提供服务，而其他的副本被称为follower副本，只
千与千寻丶·2022-11-29 09:09

Kafka系列之：深入理解死信队列和重试队列

Kafka系列之：深入理解死信队列和重试队列一、死信队列二、回退队列三、深入理解死信队列四、深入理解重试队列五、重试队列和延时队列的区别一、死信队列由于某些原因消息无法被正确地投递，为了确保消息不会被无故地丢弃
目标博客专家·2022-09-08 15:27

Kafka史上最详细原理总结(一)

场景应用（4）Kafka一些重要设计思想二、消息队列通信的模式（1）点对点模式（2）发布订阅模式三、Kafka的架构原理（1）基础架构与名词解释（2）工作流程分析（1）发送数据（2）保存数据（3）消费数据kafka
徐小慧_Blog·2022-09-08 10:09

kafka系列(一)安装使用及基本原理

kafka在大数据生态中扮演者重要的角色，各个系统利用Kafka作为数据中转枢纽来实时消费所有类型的数据。同份Kafka数据可以被导入到不同专用系统中，由于新系统能通过订阅Kafka，轻易地获取它想要的数据，我们可以轻松地引入额外的专用系统，进入到这系统构架中Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。发布/订
程序员劝退师丶·2022-09-03 07:56
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他