Kafka学习

【kafka学习笔记】一文弄懂kafka的基本概念

前言在了解了背景知识后，我们来整体看一下kafka的基本概念，这里不做深入讲解，只是初步了解一下。kafka的消息架构注意这里不是设计的架构，只是为了方便理解，脑补的三层架构。从代码的实现来看，kafka其实就一层，不像MySQL分了服务层、引擎层之类的。主题层首先是主题层，Topic（主题），比如用户消息，命名为'user_message';支付消息，命名为'pay_message'。两者互不干
马小月啊·2023-09-23 21:38

Kafka学习(一) 入门与原理

Kafka学习(一)入门与原理初识KafkaKafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。
Bulldozer Coder·2023-09-20 02:38

Kafka学习(二) 生产者

Kafka学习(二)生产者生产者就是负责向Kafka发送消息的应用程序。
Bulldozer Coder·2023-09-20 02:38

Kafka学习笔记（二）

Kafka环境搭建准备工作Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。由于我们之前的分布式系统中已经安装zookeeper服务，这里不进行zookeeper安装教程以及应用教程图解。需要注意的是：Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉，是否可以用偶数，其实没必要。如果有四台那么挂掉一台还剩下三台服务器，
一个帅哥的人生·2023-09-19 09:10

大数据之-kafka学习笔记

KafkaKafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka可以用作Flink应用程序的数据源。Flink可以轻松地从一个或多个Kafka主题中消费数据流。这意味着您可以使用Kafka来捕获和传输实时数据，并将其发送到Flink进行进一步处理。Flink和Kafka在实时数据处理和流处理应用程序中通常协同工作，Kafka用于数
躺着听Jay·2023-09-18 10:50

Kafka开篇

前言从本篇开始对个人Kafka学习做一个总结,目标有这么几个。
FA-117·2023-09-18 06:48

kafka学习一：原理和概念

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
健康平安的活着·2023-09-15 10:17

kafka之事务

kafka学习之事务前言为了实现EOS(exactlyoncesemantics,精确一次处理语义)karka从0.11.0.0版本开始引入了幂等性和事务两个特性来支撑。
你的boy_Z·2023-09-15 10:16

Kafka学习笔记

消息队列“消息队列”是在消息的传输过程中保存消息的容器。使用消息队列的好处：1）解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）**缓冲：**有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的
三月不灭·2023-09-11 00:47

kafka学习--常用命令

文章目录添加配置文件：exportKAFKA_HOME=/opt/kafkaexportPATH=$PATH:$KAFKA_HOME/bin启动kafka（先启动zookeeper）现实日志信息：kafka-server-start.sh/opt/kafka/config/server.properties//server.properties的路径后台运行kafka-server-start.s
日写BUG八百行·2023-09-11 00:47

【Kafka学习-3】Kafka命令

Kafka的命令都是基于bin目录下的脚本来使用的。Topic命令Topic的命令脚本是kafka-topics.sh，常见命令参数说明：--bootstrap-server连接的KafkaBroker主机名称和端口号。（该参数必带）--topic操作的topic名称。--create创建主题。--delete删除主题。--alter修改主题。--list查看所有主题。--describe查看主题
weixin_45135482·2023-09-11 00:17

kafka学习之ZOOKEEPER-kafka

ZOOKEEPER-kafkaZookeeper是一个开源的分布式应用程序协调服务，是用来保证数据在集群间的事务一致性。Zookeeper应用场景：集群分布式锁，集群统一命名服务，分布式协调服务Zookeeper角色与特性Leader:接受所有Follower的提案请求并统一协调发起提案的投票，负责与所有的Follower进行内部数据交换Follower:直接为客户端服务并参与提案的投票，同时与L
daydayup9527·2023-09-11 00:17

php kafka多个消费者,Kafka学习笔记4--Kafka消费者的客户端（PHP）开发

一、准备工作虽然Kafka是用Java/Scala语言编写的，但这不妨碍它对多语言的支持。可以在Kafka官网的CLIENTS查看Kafka支持的语言，其中包括C/C++、Python、Go等语言。PHP操作Kafka需要安装librdkafka库和kafka的PHP扩展。1.安装librdkafka库gitclonehttps://github.com/edenhill/librdkafka.g
包阳明频道·2023-09-11 00:16

kafka学习--docker zookeeper安装和kafka安装

zookeeper安装和kafka安装zookeeper安装kafka安装测试启动一个生产者启动一个消费者zookeeper安装dockerrun-d--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimewurstmeister/zookeeper查看日志dockerlogszookeeperkafka安装启动kafkadockerrun
404QAQ·2023-09-11 00:45

Kafka学习--------ACK机制，消息一致性

1.ACK机制Kafka中为了解决消息的重复和丢失，引入了ACK机制。ACK有三个值，分别为-101.当ACK=-1时，表示producer发送完数据后，必须接受到leader和ISR队列中所有follower的同步完成确认后才会发送下一条数据。当ACK=0时，表示producer发送完数据后不等待leader和follower的确认，直接发送下一条数据。当ACK=1时，代表producer发送完
卷王中王·2023-09-11 00:45

Kafka学习-----Kafka消费者Consumer：消费方式，分区分配策略，Range&RoundRobin

目录一.消费方式二.消费者的分配模式1.分配时机？2.Range策略2.RoundRobin策略三.代码解释RangeAssignor：RoundRobinAssignor一.消费方式consumer采用pull(拉)模式从broker中读取数据。push(推)模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consu
Atomatom98·2023-09-11 00:15

Kafka学习--- 消费者分区分配策略与再均衡Rebalance

一、消费者和消费者组当生产者向Topic写入消息的速度超过了消费者（consumer）的处理速度，导致大量的消息在Kafka中淤积，此时需要对消费者进行横向伸缩，用多个消费者从同一个主题读取消息，对消息进行分流。Kafka的消费者都属于消费者组（consumergroup）。一个组中的consumer订阅同样的topic，每个consumer接收topic一些分区（partition）中的消息。同
大龄码农生活·2023-09-11 00:15

kafka学习-消费者

目录1、消费者、消费组2、心跳机制3、消费者常见参数配置4、订阅5、反序列化基本概念自定义反序列化器6、位移提交6.1、自动提交6.2、手动提交同步提交异步提交7、再均衡7.1、定义与基本概念7.2、缺陷7.3、如何避免再均衡7.4、如何进行组内分区分配7.5、谁来执行再均衡和消费组管理8、消费者拦截器作用自定义消费者拦截器1、消费者、消费组消费者从订阅的主题消费消息，消费消息的偏移量保存在kaf
零点冰.·2023-09-11 00:45

kafka学习-生产者

目录1、消息生产流程2、生产者常见参数配置3、序列化器基本概念自定义序列化器4、分区器默认分区规则自定义分区器5、生产者拦截器作用自定义拦截器6、生产者原理解析1、消息生产流程2、生产者常见参数配置3、序列化器基本概念在Kafka中保存的数据都是字节数组。消息发送前，需要将消息序列化为字节数组进行发送。生产者通过key.serializer和value.serializer指定key和value的
零点冰.·2023-09-10 07:54

kafka学习（五）：消费者分区策略（再平衡机制）

kafka再平衡机制：指的是kafkaconsumer锁订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会出发consumer的分区分配策略（再平衡机制）：1、consumergroup中新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上。2、consumer订阅的topic发生变化，比如订阅的topic采用的是正则表达式的形式。如test-
炎升·2023-09-10 05:01

kafka学习-概念与简单实战

目录1、核心概念消息和批次Topic和PartitionReplicasOffsetbroker和集群生产者和消费者2、开发实战2.1、消息发送介绍代码实现2.2、消息消费介绍代码实现2.3、SpringBootKafkapomapplication.yamlKafkaConfigproducerconsumer1、核心概念消息和批次kafka的基本数据单元，由字节数组组成。可以理解成数据库的一条
零点冰.·2023-09-06 16:50

kafka学习

链接1：Kafka入门教程_香菜+的博客-CSDN博客链接2：https://mbd.baidu.com/ug_share/mbox/4a83aa9e65/share?product=smartapp&tk=d716b5f663babe03088adca09b0fb938&share_url=https%3A%2F%2Fyebd1h.smartapps.cn%2Fpages%2Fblog%2Fin
攻城狮numberOne·2023-09-06 03:46

【kafka学习笔记】Kafka的演进历史

kafka的类型目前有3种Kafka可供选择：ApacheKafka一般日常提到的Kafka都指的是ApacheKafka，这是最“正宗”的Kafka，也称为社区版Kafka。ConfluentKafka，Confluent公司是Kafka的3个创始人JayKreps、NahaNarkhede和饶军离开LinkedIn创办的，它主要从事商业化Kafka工具开发，并在此基础上发布了Confluent
快乐的提千万·2023-09-02 09:25

kafka学习笔记

1、kafka是什么？kafka是一个高吞吐，分布式，基于发布/订阅的消息系统，最大的特性就是可以实时的处理大量的数据以满足各种需求场景：日志收集，离线和在线的消息消费，等等2、kakfa的基础架构？topic主题：kafka根据topic对消息进行分类，发布到kafka上的每一条消息都要指定一个topicproducer生产者：向kafka主题发布消息的客户端consumer消费者：订阅topi
材料小菜鸟·2023-08-29 12:53

Kafka学习笔记

目录常见术语如何解决数据重复和数据乱序幂等性幂等性的缺陷事务事务原子性事务原理流程图如何解决数据积压解决方法Kafka的高水位（HW）和LeaderEpoch副本同步机制解析LeaderEpoch是如何解决消息丢失和消息不一致的问题的常见术语Kafka的三层消息架构：第一层是主题层，每个主题可以配置M个分区，而每个分区又可以配置N个副本。第二层是分区层，每个分区的N个副本中只能有一个充当领导者角色
Robinsyn_L·2023-08-28 07:52

Kafka 学习笔记

创作不易，各位看官点赞收藏.文章目录Kafka学习笔记1、消息队列MQ2、Kafka下载安装2.1、Zookeeper方式启动2.2、KRaft协议启动2.3、Kafka集群搭建3、Kafka之生产者3.1
吉星J_x·2023-08-24 09:39

Kafka 学习笔记

创作不易，各位看官点赞收藏.文章目录Kafka学习笔记1、消息队列MQ2、Kafka下载安装2.1、Zookeeper方式启动2.2、KRaft协议启动2.3、Kafka集群搭建3、Kafka之生产者3.1
吉星J_x·2023-08-22 08:41

Kafka学习笔记（十）kakfa消费组和重平衡

版权声明：本文为转载文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/weixin_39468305/article/details/106846814摘要：ConsumerGroup指多个消费者实例组成一个组来共同消费一组主题，它可谓大名鼎鼎，不仅可以加速消费端TPS，还具有扩展性和容错性等优势。而组成员之间如何达成一致
每天进步一奈奈·2023-08-22 07:23

Kafka学习笔记

缓存区好处：解耦冗余扩展性灵活性、峰值处理能力可恢复性顺序保证缓冲异步通信数据单元保证数据单元的完整性各个数据单元没有互相依赖保证了数据单元的独立性颗粒度Broker（数据节点）Kafka集群包含一个或多个服务器，服务器节点为brokerTopic（主题）每条发布到kafuka集群的消息都有一个类别，这个类别被称为Topic。Partition1.Topic中的数据分割为一个或者多个partiti
Mr.杨先森·2023-08-16 19:39

Kafka学习——生产者（三）

目录1.一个完整的生产逻辑2.参数配置2.1三个必配参数2.2序列化器（必配）2.3分区器（非必配）2.4拦截器（非必配）3.创建生产者实例4.构建待发送的消息5.发送消息5.1三种发送方式5.2两种类型的异常6.回收资源1.一个完整的生产逻辑对于Kafka生产者客户端开发而言，一个正常的生产逻辑需具备下面几个步骤：（1）配置生产者客户端参数及创建相应的生产者实例；（2）构建待发送的消息；（3）发
邓不利东·2023-08-13 08:04

Kafka消息订阅发布系统设计介绍

转http://hi.baidu.com/wupengwuhao/blog/item/b836e8c4985a8122f8dc61b7.htmlKafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布
iteye_5347·2023-08-11 06:56

Kafka学习笔记完整

文章目录kafka的基本认识一、什么是Kafka1、设计目标二、Kafka的应用场景1、行为跟踪2、日志收集系统3、消息系统三、Kafka的架构四、Kafka名词解释1、Broker2、Producer3、Consumer4、Topic5、Partition6、ConsumerGroup7、Topic&Partition8、Replication-factorkafka安装部署+基本操作一、单机1
菜鸟编程98K·2023-07-27 04:04

Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案

Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案参考文章：（1）Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案（2）https://www.cnblogs.com
胡金针·2023-07-27 04:02

ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

filebeat.prospectors:-type:log       #日志输出类型 enabled:true                               paths:         #定义收集日志的目录   -/data/apps/logs/test1/* fields:        #自定义的两个字段,区分日志类型及host    type:test1    host:
dengxiangbao3167·2023-07-27 04:31

Kafka学习(1)基础和搭建

kafka基础：(1)kafaka与其他的消息系统一样，发送的也是序列化的对象，比如String，和经过序列化处理的对象(2)消息类型：Queue：队列，点对点的消息类型topic：主题，群发消息(3)消息系统：同步消息：得有返回值才能继续往下执行异步消息：不需要等待返回值就可以继续往下执行对于kafka创建同步消息还是异步消息其实很简单，就是创建发送消息的时候有没有返回Future对象，如果有F
枣泥馅·2023-07-22 14:49

kafka学习笔记

kafka属于消息引擎系统，主要用于系统间传输消息，可以做到系统业务上的解耦，缓冲系统上下游瞬时突发流量，使其更平滑（削峰填谷）。kafka系统里各种概念消息：Record。Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。一个有序不变的消息序列。每个主题下可以有多个分区。消息位
良辰美景TT·2023-07-18 14:32

Kafka学习笔记（基础篇）

目录Kafka简介消息队列Kafka的应用场景消息队列的两种模型Kafka集群搭建Kafka的生产者/消费者/工具Kafka的基准测试工具Kafka中的重要概念消费者组幂等性Kafka中的分区副本机制生产者的分区写入策略消费组ConsumerGroupRebalance机制消费者的分区分配策略副本的ACK机制高级API（High-LevelAPI）、低级API（Low-LevelAPI）Kafka
Cat凯94·2023-07-16 14:03

kafka学习笔记

Kafka学习笔记Kafka(partone)1.消息2.分区分区分配策略3，生产者4.消费者消费者group的rebalance深入kafka集群与成员高可用请求处理生产请求消费请求可靠性可靠的消费者
菜的真真实实·2023-07-16 07:03

kafka

kafka学习清单，如果要用的时候可以看，平时了解下就好:https://blog.csdn.net/suifeng3051/article/category/2386223
IAmWhoAmI·2023-07-16 06:10

Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

0x00概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03，
dengxiangbao3167·2023-07-15 13:04

Kafka学习笔记（高级篇）

目录高级功能高效读写涉及技术ZooKeeper自定义拦截器监控延迟消费一些改进手段高级功能高效读写涉及技术高吞吐量：Kafka每秒可以处理数百万消息。这是因为Kafka消息的处理是以批处理（Batching）的方式来完成的，生产者可以将多个消息一起发送到Kafka集群，以减少网络开销以及加速处理速度。低延迟：Kafka利用磁盘存储加缓存，可以在微秒级别内完成消息处理。Kafka具有高效的消息传递能
Cat凯94·2023-07-13 18:30

kafka学习之三_信创CPU下单节点kafka性能测试验证

#kafka学习之三_信创CPU下单节点kafka性能测试验证##背景```前面学习了3controller+5broker的集群部署模式.晚上想着能够验证一下国产机器的性能.但是国产机器上面的设备有限
济南小老虎·2023-06-20 22:00

Kafka学习---4、消费者（分区消费、分区平衡策略、offset、漏消费和重复消费）

1、消费者1.1Kafka消费方式1、pull（拉）模式：consumer采用从broker中主动拉取数据。2、push（推）模式：Kafka没有采用这种方式。因为broker决定消息发生速率，很难适应所有消费者的消费速率。例如推送的速度是50M/s，Consumer1、Consumer2就来不及处理消息。pull模式不足之处是如果Kafka没有数据，消费者可能会陷入循环中，一直返回空数据。1.2
星光下的赶路人star·2023-06-20 02:37

Kafka学习--3、Kafka Broker、节点服役和退役、Kafka 副本、Leader 选举流程、故障处理

1、KafkaBroker1.1KafkaBroker工作流程1.1.1Zookeeper储存的Kafka信息（1）启动Zookeeper集群、再启动Kafka集群，然后启动Zookeeper客户端（2）通过ls命令可以查看kafka相关信息。1.1.2KafkaBroker总体工作流程1、模拟Kafka上下线，Zookeeper中数据变化（1）查看/kafka/brokers/ids路径上的节点
星光下的赶路人star·2023-06-15 08:48

Apache Kafka学习

目录一、简介1.概念：2.kafka四大API：3.Kafka消费模式4.Kafka的基础架构5.kafka文件存储方式二、特性三、优点1.解耦2.异步处理3.流量削峰4.数据持久化5.顺序保证6.可恢复性四、名词解释五、QAQ:如何保证数据高可靠、不丢失?A：数据丢失的原因解决方案producer生产消息ack机制ack策略broker存储消息ISR机制和AR机制broker恢复机制comsum
chimchim66·2023-06-14 13:12

Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验

1、kafka生产者1.1生产者消息发送流程1.1.1发送原理在消息发生的过程中，设计到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到KafkaBroker。batch.size:只有数据积累到bat
星光下的赶路人star·2023-06-13 21:43

Kafka学习---1、Kafka 概述、Kafka快速入门

1、Kafka概述1.1定义1、Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue)，主要是应用于大数据实时处理领域。2、发布/订阅：消息的发布者不会将信息直接发送给特定的订阅者，而是将发布的信息分为不同的类别，订阅者只接受感兴趣的消息。3、Kafka最新定义：Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被
星光下的赶路人star·2023-06-13 21:12

Kafka学习笔记

Kafka消费者：1.默认自动提交offset，可能会造成消息丢失，因为是延迟提交，也有可能会造成消息重复2.offset保存在_consumer_offsets主题中(zookeeper不适合频繁的写操作)，如果新建消费组，或者是新订阅了一个主题，或者是因为主题中关于这个消费组的位移过期删除后，会根据配置决定从何处拉取消息，默认是latest表示从分区末尾消费消息，配置auto.offset.r
唐伯虎点蚊香dw·2023-06-10 18:45

Kafka学习笔记

基础概念Broker：与RobbitMq类似，一个Kafka消息中间件节点就是一个Broker，一个或者多个Broker可以组成一个Kafka集群。Producer：消息的生产者，向Broker发送消息的客户端。Topic：主题，是每个消息的分类。每个发送到Kafka的消息都必须指明一个Topic，消费者消费时也必须指明要消费哪个Topic。Partition:分区。一个Topic可以有多个分区，
肯定不吃番茄啊·2023-06-10 12:32

Kafka学习笔记

阻塞队列java核心api的一个接口，BlockingQueue解决线程通信的问题阻塞方法：put（存）、take（取）。好处：满足生产者和消费者模式，线程1往队列中存数据，线程二从队列中拿数据；阻塞队列在生产者和消费值之间构建了一个桥梁，避免两个线程直接打交道（如果直接打交道，可能生产者生产速度远远快于消费的速度，生产者还在源源不断生产，没有被阻塞，系统的性能被白白浪费了；反过来消费的速度很快已
未172·2023-06-06 23:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他