kafka学习

Kafka学习笔记

1Kafka简介(1)经典组合：Flume+Kafka+Strom+HDFS/HBase在流式计算中，Flume做分布式采集数据，Kafka是分布式队列系统，对采集数据做分布式缓存，Storm通过消费kafka的数据进行计算，计算结果存储到HBase中。(2)Storm是在线流式计算分布式框架，Mapreduce/spark是离线流式计算分布式框架，离线实时性得不到保障，在线可以。(3)Kafka
学不下了·2023-06-06 22:56

kafka学习(3) 消费者：消费者组，重平衡，订阅方式，开发步骤

KafkaConsumer负责订阅主题,并且从订阅的主题中拉取消息。消费者和消费组每一个消费者都有一个对应的消费组,当消息发布到主题之后,只会被投递给订阅它的每个消费组中的一个消费者。消费组将消费者归为一类,每一个消费者只隶属于一个消费组,如果所有消费者都隶属于同一个消费组,那么就是点对点模式,如果所有消费者隶属于不同消费组就是发布/订阅模式,可以通过group.id来配置消费者和消费者组.png
xiaogp·2023-04-21 00:12

【kafka学习笔记】kafka的基本概念

在了解了背景知识后，我们来整体看一下kafka的基本概念，这里不做深入讲解，只是初步了解一下。kafka的消息架构注意这里不是设计的架构，只是为了方便理解，脑补的三层架构。从代码的实现来看，kafka其实就一层，不像MySQL分了服务层、引擎层之类的。主题层首先是主题层，Topic（主题），比如用户消息，命名为'user_message';支付消息，命名为'pay_message'。两者互不干扰，
快乐的提千万·2023-04-15 23:43

Kafka学习笔记（六）—Kafka数据复制原理

一、HW和LEOHW：HighWatermark，高水位，在分区高水位以下的消息被认为是已提交消息，反之就是未提交消息，注意高水位本身属于未提交消息，图中的8就属于未提交消息，高水位上的消息是不能被消费者消费的。LEO：LogEndOffset，日志末端位移，表示副本写入下一条消息的位移值，数字15所在的方框是虚线，这就说明，这个副本当前只有15条消息，位移值是从0到14，下一条新消息的位移是15
水墨之白·2023-04-14 09:04

Kafka入门教程：学习总结目录索引

0Kafka学习路径在学习Kafka的途中，我总结了一个系列的Kafka学习征途系列教程，它只选取了我认为最实用的部分整理出来，以及结合我最熟悉的.NET技术栈进行了演示。
dotNET跨平台·2023-04-12 22:45

Kafka分布式流处理平台基础概念学习

kafka学习官网：https://kafka.apachecn.org/intro.htmlkafka的架构和基础概念5个部分组成：topic是对数据记录和分类的地方，包括keyvalue和一个timestamp
Java川·2023-04-11 19:56

Kafka学习笔记（二）架构深入

1.Kafka工作流程及文件存储机制Xnip2020-07-08_15-48-17Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条
做个合格的大厂程序员·2023-04-11 02:10

kafka学习（1）------kafka 架构原理

之前学习过RocketMQ,上手实操了普通消息，顺序消息，事务消息等。。最近有空一起学习下kafka吧！ApacheKafka是最流行的开源流处理软件，用于大规模收集，处理，存储和分析数据。它以出色的性能，低延迟，容错和高吞吐量而著称，每秒能够处理数千条消息。拥有1000多个Kafka用例并进行计数，一些共同的好处是建立数据管道，利用实时数据流，启用操作指标以及跨不计其数的数据源进行数据集成。ka
不会吉他的肌肉男不是好的挨踢男·2023-04-08 15:40

Kafka学习笔记一

1.简介kafka是一个分布式的流平台，一个流平台有以下三个能力：发布和订阅记录流，就像一个消息队列或者企业级消息系统以容错的持久方式存储记录流。在记录发生时处理记录流。Kafka通常用于两大类应用程序：构建实时流数据管道，在系统或应用程序之间可靠地获取数据构建实时流应用程序，转换或响应数据流为了理解Kafka是如何做这些事情的，让我们深入研究一下Kafka的能力。首先是几个概念：Kafka作为集
第八共同体·2023-04-06 22:55

Kafka系统学习

Kafka学习视频文章目录一、Kafka概述二、消息队列传统消息队列的应用场景使用消息队列的好处消息队列的两种模式三、Kafka基础架构四、Docker安装KafkaKafka命令行六、Kafka架构深入
lzm990311·2023-04-06 18:43

总结：kafka生产者和消费者的分区分配策略

kafka学习目录：kafka目录文章目录kafka生产者和消费者的分区分配策略一、producer的分区分配策略二、consumer的分区分配策略2.1、RoundRobin策略（轮询策略）2.2、Range
悬浮海·2023-04-04 20:19

原创Kafka学习笔记，字节大牛教你手撕Java学习

前言很多同学想进大厂，特别是刚毕业的，以及工作年限短的，不要有任何侥幸心理，踏踏实实的把基础弄扎实了，这是你通往高薪之路的唯一正确姿势。首先从面试题做起~好了，不多说了，直接上正菜。一面自我介绍项目中的监控：那个监控指标常见的有哪些？微服务涉及到的技术以及需要注意的问题有哪些？注册中心你了解了哪些？consul的可靠性你了解吗？consul的机制你有没有具体深入过？有没有和其他的注册中心对比过？项
Java老司机一枚·2023-04-04 05:36

kafka学习_Kafka 学习笔记04

以下内容来自拉勾课程学习拉勾教育-拉勾旗下教育平台以下内容来自拉勾课程学习拉勾教育-拉勾旗下教育平台以下内容来自拉勾课程学习拉勾教育-拉勾旗下教育平台高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）一、集群搭建要求1.搭建设计2.分配六台Linux，用于安装拥有三个节点的Kafka集群和三个节点的Zookeeper二、准备工作准备六台机器1.分配三台Linux，用于
weixin_39721953·2023-04-03 21:46

极客kafka学习——kafka核心技术与实战

1、kafka概念kafka是消息引擎系统，也是分布式流处理平台。Kafka的三层消息架构：第一层是主题层，每个主题可以配置M个分区，而每个分区又可以配置N个副本。第二层是分区层，每个分区的N个副本中只能有一个充当领导者角色，对外提供服务；其他N-1个副本是追随者副本，只是提供数据冗余之用。第三层是消息层，分区中包含若干条消息，每条消息的位移从0开始，依次递增。最后，客户端程序只能与分区的领导者副
喵了个咪的回忆丶·2023-04-03 21:10

Kafka学习笔记

本文转载来自：https://www.cnblogs.com/qingyunzong/p/9004703.htmlKafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统,图展示了Kafka的相关术语以及之间的关系上图一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offset。Partition3
weixin_30650859·2023-04-03 05:37

Kafka学习笔记--kafka概述、快速入门，架构深入

文章目录第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门2.1安装部署2.1.1集群规划2.1.2jar包下载2.1.3集群部署2.2Kafka命令行操作第3章Kafka架构深入3.1Kafka工作流程及文件存储机制3.2Kafka生产者3.2.1分区策略3.2.2数据可靠性保证1）副本数据同步
Sql强·2023-04-02 00:32

kafka学习笔记-初始kafka

kafka学习笔记-初识kafka一、纠正误区kafka并不只是大家平时所认为的消息系统，在官网的介绍中又说到：“Adistributedstreamingplatform”–一个分布式流媒体平台。
AbtYee·2023-03-31 20:50

Kafka学习之路 （二）Kafka的架构

目录一、Kafka的架构二、Topics和Partition三、Producer消息路由四、ConsumerGroup五、Pushvs.Pull六、Kafkadeliveryguarantee一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平
素颜vv风之殇·2023-03-31 00:12

kafka学习（六）：kafka应用场景

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。1、消息队列应用场景1.1、异步处理场景说明：用户注册后，需要
炎升·2023-03-30 19:50

kafka学习笔记

kafka学习笔记kafka介绍传统消息队列的应用场景消息队列的两种模式kafka基础架构Kafka快速入门安装部署Kafka命令行操作生产者命令行操作消费者命令行操作Kafka生产者生产者消息发送流程异步发送
sheygshsi·2023-03-29 00:49

【kafka学习笔记】Go接入kafka

需要借助的库github.com/Shopify/sarama//kafka主要的库*github.com/bsm/sarama-cluster//kafka消费组生产者packageproducerimport("fmt""github.com/HappyTeemo7569/teemoKit/tlog""github.com/Shopify/sarama""kafkaDemo/define")v
快乐的提千万·2023-03-21 17:28

kafka学习笔记-深入kafka内核

参考：极客时间-Kafka核心技术与实战内容：kafka副本机制、消费者重平衡、kafka控制器、消息可见性（高水位）。1.kafka副本机制副本机制的好处：提供数据冗余提供高伸缩性改善数据局部性副本定义：只能追加写消息的提交日志。副本角色：基于领导者（Leader-based）的副本机制。副本分成两类：领导者副本（LeaderReplica）和追随者副本（FollowerReplica）。领导者
疯狂猪宝宝·2023-03-21 05:49

【kafka学习笔记】合理安排broker、partition、consumer数量

broker的数量最好大于等于partition数量一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。broker如果免得是多个partition，需要随机分发，顺序IO会退化成随机IO。image实验条件：3个Broker，1个Topic，无Replication，异步模式，3个Producer，消息Payload为100字节：当Partition数量小于Broker个数时
快乐的提千万·2023-03-17 22:58

kafka服务器能接收到的最大信息是多少,kafka学习文档

kafkakafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。Kafka就是一种发布-订阅模式。将消息保存在磁盘中，以顺序读写方式访问磁盘，避免随机读写导致性能瓶颈。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇
拯救大兵张嘎·2023-02-04 22:05

kafka学习记录—Kafka-Eagle监控

kafka学习记录—Kafka-Eagle监控安装MySQL略kafka环境关闭kafka集群修改内存，一个G不够[root@hadoop101bin]vimkafka-server-start.shif
柒柚jun·2023-01-30 09:21

Kafka学习

一、消息队列介绍和使用场景1、什么是消息队列？消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。市面上主流的消息队列有：ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。1.1kafkaKafka是由Apache软件基金会开发的一个开源流处理
music score·2023-01-29 19:59

Kafka学习

Kafka官网：http://kafka.apache.org/Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持KafkaServer间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。同时支持离线数据处理和实时数据处
灯火gg·2023-01-28 14:14

kafka学习

image.pngProducer:消息生产者Consumer:消息消费者Topic:在逻辑上可以被认为是一个queue，每条消费都必须指定它的Topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高，物理上把Topic分成一个或多个Partition，每个Partition在物理上对应一个文件夹，该文件夹下存储这个Partition的所有消息和索引
裂开的汤圆·2023-01-27 00:14

Kafka学习

文章目录1.初识MQ1.1.同步和异步通讯1.1.1同步通讯1.1.2异步通讯1.2技术对比1.3MQ的两种模式2.初识Kafka2.1Kafka的使用场景2.2Kafka基本概念2.3Topic与Partition3.Kafka基本使用3.1部署前的准备3.2启动kafka服务器3.3Kafka核心概念之Topic3.4发送消息3.5消费消息3.6消费者偏移量3.7单播消息3.8多播消息3.9查
每天都要加油呀！·2022-12-21 18:59

kafka学习（三）：kakfa消息处理、索引、零拷贝

1、Kafka的消息流处理1.1、消息路由producer发送消息到broker时，会根据分区算法选择将其存储到哪一个partition。其路由机制为：1.指定了patition，则直接使用；2.未指定patition但指定key，通过对key的value进行hash选出一个patition。3.patition和key都未指定，使用轮询选出一个patition。1.2、消息流程：producer
炎升·2022-10-27 09:39

kafka学习笔记

一、kafka的工作原理我们知道，kafka是一个高性能、高可用和高扩展的消息队列，其中往队列中发送数据的称为生产者producer，从队列中拿取数据的称为消费者Consumer。根据不同的业务需求，我们肯定需要有多个不同的队列，其中每一个队列称为一个topic（主题）。可以多个生产者往一个topic里面发送数据，也可以有多个消费者从一个topic里面拿取数据。既然kafka是高可用的，那么把海量
lans_g·2022-09-08 10:28

Kafka 官方文档1（中文）

1、开始Kafka学习之旅1.1简介"ApacheKafkaisadistributedstreamingplatform"这是kafka官网上给出的介绍，Kafka是一个分布式的流式平台。
zuolixiangfisher·2022-08-26 21:13

kafka学习笔记(十一) --- 消费者组重平衡能避免吗

在第八篇里，我们已经大概讲过重平衡的原理和用途，这里就直接进入主题。协调者(Coordinator)在Rebalance过程中，所有消费者实例共同参与，在协调者帮助下完成订阅分区的分配。这个协调者是什么？在Akafka中协调者对应的术语是Coordinator，专门ConsumerGroup服务，负责为Group执行Rebalance以及提供提供位移管理和组成员管理等。具体来讲，Consumer在
囚牢-峰子·2022-08-25 11:59

大数据-kafka学习（五）——消费者

目录一、KAfka消费方式1、pull（拉）模式：2、push（推）模式：二、消费者总体工作流程三、消费者组四、消费者组初始化流程五、消费者组详细消费流程一、KAfka消费方式1、pull（拉）模式：consumer采用从broker中主动拉取数据，Kafka采取这种方式2、push（推）模式：Kafka没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送
机智兵·2022-06-05 10:46

Kafka学习笔记（三）Kafka架构详解

文章目录3.Kafka架构详解3.1Kafka工作流程及文件存储机制3.2Kafka生产者3.2.1分区策略3.2.2数据可靠性保证3.2.3ExactlyOnce语义3.3Kafka消费者3.3.1消费方式3.3.2分区分配策略3.3.3offset的维护3.4Zookeeper在Kafka中的作用3.5Kafka事务3.5.1生产者事务3.5.2消费者事务3.Kafka架构详解3.1Kafka
小胡今天有变强吗·2022-06-02 10:22

大数据-kafka学习（七）——集成SpringBoot

SpringBoot是一个在JavaEE开发中非常常用的组件。可以用于Kafka的生产者，也可以用于Kafka的消费者。一、SpringBoot项目搭建如果SpringInitializr产生如下错误解决方法Custom的URL改为https://start.aliyun.com/SpringBoot项目创建成功二、生产者代码packagecom.myself.springboot.springb
机智兵·2022-05-24 02:26

大数据-kafka学习（六）——简单代码实现生产者消费者

maven依赖导入org.apache.kafkakafka_2.122.2.0生产者packagemy.kafka.producer;importorg.apache.kafka.clients.producer.ProducerConfig;importorg.apache.kafka.clients.producer.ProducerRecord;importorg.apache.kafka
机智兵·2022-05-24 02:56

大数据-kafka学习（一）——Kafka简介

目录一、Kafka定义1、kafka传统定义：2、Kafka最新定义：二、消息队列传统消息队列的应用场景三、消息队列的两种模式1）、点对点模式2）、发布/订阅模式一、Kafka定义1、kafka传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域发布/订阅：消息的发布者不会将消息直接发给指定的订阅者，而是将发布的消息分为不同的类别
机智兵·2022-05-24 02:56

Kafka学习笔记

Kafka学习笔记ApacheKafka是一个分布式消息发布订阅系统。
·2022-04-24 23:07

看完这篇Kafka，你也许就会了Kafka

Kafka学习文章目录Kafka学习1.Kafka简介1.1Kafka消费模式1.2Kafka的基础架构1.3Kafka的安装和使用2.Kafka高级2.1工作流程2.2文件存储2.3生产者分区策略2.4
心的步伐·2022-02-27 06:34

【kafka学习笔记】kafka安装监控 kafka eagle

官方文档：http://www.kafka-eagle.org/articles/docs/installation/linux-macos.html下载KafkaEaglehttps://link.zhihu.com/?target=http%3A//download.smartloli.orgkafka-eagle-bin-1.2.3.tar.gz复制到Linux解压tar-xvfkafka-
快乐的提千万·2022-02-23 09:58

kafka学习(4) 主题与分区

主题和分区是kafka的核心概念,主题作为消息的归类,可以细分为一个或者多个分区,分区可以看做是消息的二次归类,分区的划分不仅为kafka提供了可伸缩性,水平拓展的功能,还通过多副本机制来为kafka提供数据冗杂以提高数据可靠性.创建主题在kafka配置文件中,如果auto.create.topics.enable=true,则当生产者向一个未创建的主题发送消息或者消费者从一个未创建的主题拉取消息
xiaogp·2022-02-16 14:54

Kafka学习笔记

1.Kafka简介Kafka是一个分布式的基于发布订阅模式的消息队列，主要针对大规模数据处理场景。1.1消息队列（MessageQueue）的好处：a.解耦生产者和消费者可以独立发布服务，不会导致线上异常和数据丢失；b.可恢复性MQ通常具有重试机制，而且分组消费，数据存储到磁盘（支持副本），使数据不会丢失；c.缓冲避免生产者和消费者处理速度不一致带来的问题，如数据丢失，调用异常和超时等；d.削峰使
zhglance·2022-02-15 03:21

kafka学习笔记

kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。传统消息队列的应用场景使用消息队列的好处：解耦：允许你独立地扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。缓冲：有助
dev_winner·2022-02-15 01:47

Kafka学习

1.Kafka消费方式：通过Flume，将kafka消息存储到HDFS通过SparkStreaming读取kafka消息，存储到redis2.高级API和低级API的区别https://www.jianshu.com/p/2369a020e604高级API在Spark的工作节点上创建消费者线程，订阅Kafka中的消息，数据会传输到Spark工作节点的执行器中，为了保证数据可靠性，需要在SparkS
解宏斌·2022-02-09 06:27

Kafka学习笔记二：Flume+Kafka安装

Flume介绍Flume是流式日志采集工具，FLume提供对数据进行简单处理并且写到各种数据接收方（可定制）的能力，Flume提供从本地文件（spoolingdirectorysource）、实时日志（taildir、exec）、REST消息、Thift、Avro、Syslog、Kafka等数据源上收集数据的能力。Flume架构图.pngFlume系统中核心的角色是Agent，Agent本身是一个
开发者连小超·2022-02-07 07:55

三分钟搞懂 MySQL 隔离级别，kafka学习教程

例：某个事务在读取某个范围的数据，但是另一个事务又向这个范围的数据去插入数据，导致多次读取的时候，数据的行数不一致。1.READUNCIMMITTED（未提交读）在这种隔离级别下，查询是不会加锁的，也由于查询的不加锁，所以这种隔离级别的一致性是最差的，可能会产生“脏读”、“不可重复读”、“幻读”。2.READCOMMITTED（提交读）就是只能读到已经提交了的内容。为什么提交读，未提交读都没有查询
m0_64384350·2021-12-03 23:19

kafka学习笔记

https://kafka.apache.org/down...作用命令描述启动ZKbin/zookeeper-server-start.sh-daemonconfig/zookeeper.propertiesKafka安装包自带ZK，可以单节点启动启动Kafka服务器bin/kafka-server-start.shconfig/server.properties创建Topic（test）bin
·2021-11-28 12:20

我们在学习Kafka的时候，到底在学习什么？

本文会从一个小白的角度讲Kafka学习的整体方法，包括背景、核心概念、核心原理、源码阅读、实际应用等。注意，本文只是一个学习路径，不会详细展开，
王知无(import_bigdata)·2021-08-21 16:28

kafka学习(2) 生产者：开发步骤，同步异步方式，关键参数

生产者就是负责向kafka发送消息的应用程序客户端开发一个正常的生成逻辑需要具备一下几个步骤(1)配置生产者客户端参数和创建生产者实例(2)构建待发送的消息(3)发送消息(4)关闭生产者实例importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRec
xiaogp·2021-06-23 02:44
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他