Kafka学习

【六】阿伟开始搭建Kafka学习环境

阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka
能源恒观·2024-09-16 08:09

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣，还是准备在大数据领域迈出第一步，本专栏都提供所需的一切资源、指导，以及相关面试题，立刻免费订阅，开启Kafka
夏之以寒·2024-09-06 14:16

Kafka学习

1、kafka集群配置①需要提前配置zookeeper环境②配置环境变量，与Java类似③配置server.properties文件#服务器序号broker.id=numlisteners=PLAINTEXT://IP:9092#文件缓存目录log.dirs=/usr/kafka/data#zookeeper链接zookeeper.connect=host1:2181,host2:2181,hos
nlhkfcdxb·2024-09-04 16:48

通过kafka学习数据一致性

kafka哪些环节存在数据不一致数据复制数据从主节点（leader）复制到从节点（follower）的过程中，由于网络延迟、节点故障或其他原因可能导致从节点未能及时获取或处理主节点的数据变更，从而产生数据不一致消息提交消息提交涉及多个阶段，包括生产者发送消息、消息被写入日志、消息被复制到从节点等。如果在这个过程中发生错误或异常，可能导致消息丢失或重复，进而引发数据不一致。消费者处理消费者在处理消息
~kiss~·2024-02-19 23:48

kafka学习之基本概念

一、kafka常用基本概念producer：生产者，生产并发送消息的一方。consumer：消费者，接收消费消息的一方。topic：一类消息的集合。在kafka中，消息以主题为单位进行归类，producer负责将消息发送到指定的主题，而consumer负责订阅主题并进行消费。kafka中的一条消息其实就是一个包含＜topic,partition,offset＞消息三元组。broker：服务代理节点
侧身左睡·2024-02-11 12:08

kafka学习笔记一

目录第一章初识Kafka一、kafka的作用二、kafka架构三、分区&日志四、生产者&消费者五、kafka高性能之道总结：kafka读写性能高的原因？第二章Kafka环境搭建&Topic管理第三章Kafka基础API第四章Kafka高级API4.1offset自动控制4.2应答&重试4.3幂等性4.4事务控制第五章Kafka架构进阶5.1数据同步机制5.2Kafka监控系统KafkaEagle5
薛薛哦·2024-01-30 21:56

kafka学习笔记二

课程地址：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）_哔哩哔哩_bilibili讲解版本：kafka3.x；时长13小时官网：ApacheKafkaKafka2.8.0以后也可以配置不采用zookeeper，之前是必须采用zk的。（启动kafka前须启动zk）说明：资料已下载，非常全！很赞！第一二章kafka概述&快速入门1.kafka定义传统上用作分布式的基于发布/订阅模式的消息队
薛薛哦·2024-01-30 21:25

3.1 Kafka 工作流程及文件存储机制

kafka学习目录：kafka目录文章目录3.1、Kafka工作流程及文件存储机制3.1.1、工作流程3.1.2、文件存储机制index文件和log文件详解：3.1、Kafka工作流程及文件存储机制3.1.1
悬浮海·2024-01-20 08:53

kafka学习（4）-- Kafka如何保证百万级写入速度以及保证不丢失不重复消费

一、如何保证百万级写入速度Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？1、页缓存技术+磁盘顺序写（解决写入性能问题）首先Kafka每次接收到数据都会往磁盘上去写，如下图所示。那么在这里我们不禁有一个疑问了，如果把数据基于磁盘来存储，频繁
技术闲聊DD·2024-01-19 23:07

kafka学习笔记-- 文件清理策略与高效读写数据

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩高效读写数据文件清理策略Kafka中默认的日志保存时间为7天，可以通过调整如下参数修改保存
向着百万年薪努力的小赵·2024-01-19 01:25

Kafka学习

Kafka的消息通过主题（topic）进行分类主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性消息以追加的方式写入分区，然后以先入先出（FIFO）的顺序读取无法在整个主题范围内保证消息的顺序，可以保证消息在单个分区内的顺序生产者（发布者，写入者）创建消息一般情况下，一个消息会被发布到一个特定的主题上，生产者在默认情况下把消息均衡发不到主题的所
error0318·2024-01-17 07:37

Kafka学习笔记（三）Kafka API

1.ProducerAPI消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafkabroker。Xnip202
做个合格的大厂程序员·2024-01-10 06:29

Kafka学习笔记1（千峰教育）

Kafka学习笔记1（千峰教育）一、为什么使用消息队列1.使用同步的通信方式来解决多个服务之间的通信2.使用异步的通信方式二、消息队列的流派1.有broker2.无broker三、Kafka的基本知识1
该叫啥·2023-12-29 07:55

kafka学习笔记--Topic 数据的存储机制

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录大致介绍实际查看index文件和log文件详解大致介绍Topic是逻辑上的概念，而partition是物理上的概念，本来每个partition应对应于一个log文件，该log文
向着百万年薪努力的小赵·2023-12-17 23:40

kafka学习笔记--Kafka副本

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1副本基本信息2Leader选举流程3Leader和Follower故障处理细节3.1Follower故障处理细节3.2Leader故障处理细节4分区副本分配5手动调整分区副本
向着百万年薪努力的小赵·2023-12-17 23:40

kafka学习笔记--节点的服役与退役

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录服役新节点新节点准备执行负载均衡操作退役旧节点执行负载均衡操作执行停止命令服役新节点依旧使用前面文章创建的三个hadoop102、103、104三个节点，模拟节点的服役与退役新
向着百万年薪努力的小赵·2023-12-17 10:25

Kafka学习（二）-------- 什么是Kafka

通过Kafka的快速入门https://www.cnblogs.com/tree1123/p/11150927.html能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？一、Kafka简介http://kafka.apache.org/intro2011年，LinkIn开源，November1,2017
大数据流动·2023-12-16 17:17

kafka学习笔记--broker工作流程、重要参数

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录KafkaBroker工作流程Kakfa信息存储在Zookeeper中KafkaBroker总体工作流程Broker重要参数KafkaBroker工作流程Kakfa信息存储在Z
向着百万年薪努力的小赵·2023-12-16 09:59

kafka学习笔记--生产者消息发送及原理

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）发送的目的就一个，将消息发到kafka集群里，整体流程如下：如上图，首先要有一个发送消息的主线程，也就是main线程，然后有一个读取数据的线程sender，所有的消息先经过拦截器（一般
向着百万年薪努力的小赵·2023-12-15 23:59

kafka学习笔记--安装部署、简单操作

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录1安装部署1.1集群规划1.2集群部署2命令行操作2.1主题2.2生产者2.3消费者2.4消费者组1安装部署1.1集群规划这里采用的是三节点的kafka集群，名称为hadoop
向着百万年薪努力的小赵·2023-12-15 22:54

kafka学习

一、kafka概念是一种高吞吐量、分布式、基于发布/订阅的消息系统。1、broker：kafka服务器，负责消息存储和转发2、topic：消息类型3、partition：topic的分区，一个topic可以包含多个partition，topic消息保存在各个partition上4、offset：消息在日志中的位置，可以理解是消息在partition上的偏移量，也是代表该消息的唯一序号5、Produ
CopyLower·2023-12-14 12:55

Kafka学习笔记（四）：在Ubuntu18.04上搭建kafka的环境

目录前言一、安装JDK1.8二、安装Kafka三、参考四、导航前言Kafka是需要Zookeeper来搭建集群环境的，当然Kafka自带了Zookeeper来部署单节点环境。由于在测试环境搭建，所以本人这里直接使用了Kafka中自带的Zookeeper。大家可以Kafka官网选择合适的版本来下载。Kafka官方下载地址本人这里选择的Kafka版本是kafka_2.12-2.1.0.tgz一、安装J
原来是小雨啊·2023-11-29 08:23

kafka怎么保证不丢失消息和不重复消费消息

给大家推荐一款好用的CSDN云服务，新人首购折扣哦，点击下图跳转：kafka学习目录：kafka目录文章目录一、生产者推送消息时怎么保证消息不丢失和不重复1.1、总体概况1.1.2、什么是ISR呢？
悬浮海·2023-11-29 06:12

kafka学习笔记（一）--脑裂

我知道你想裂，但你先别裂目录脑裂Kafka脑裂实验Kafka如何防止脑裂--LeaderEpochepoch的局限性ISR列表ISR列表的伸缩机制脑裂用集群部署的大多数的分布式系统无可避免会面临脑裂问题。简单来说，脑裂就是在同一时刻出现了两个“Leader（或叫Master）”。设想这样一个场景：某分布式系统的分别部署在A，B两机房，每个机房有若干个节点。在正常情况下，这个分布式系统通过一致性协议
exp1997·2023-11-27 17:25

Kafka生产者和消费者（Java代码案例）

我也是找到一个关于Kafka学习的网站，感觉这个学习网站还是挺不错的，链接在此：https:/
小单是个程序媛·2023-11-23 09:27

Kafka学习笔记（三）

目录第5章Kafka监控（KafkaEagle）5.2修改kafka启动命令5.2上传压缩包5.3解压到本地5.4进入刚才解压的目录5.5将kafka-eagle-web-1.3.7-bin.tar.gz解压至/opt/module5.6修改名称5.7给启动文件执行权限5.8修改配置文件5.9添加环境变量5.10启动5.11登录页面查看监控数据第6章Kafka面试题6.1面试问题第5章Kafka监
七维大脑·2023-11-19 11:33

Kafka学习笔记（一）

目录第1章Kafka概述1.1消息队列（MessageQueue）1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2定义第2章Kafka快速入门2.1安装部署2.1.1集群规划2.1.2jar包下载2.1.3集群部署2.2Kafka命令行操作第3章Kafka架构深入3.1Kafka工作流程及文件存储机制3.2Kafka生产者3.2.1分区策略3.2.2数据可靠性保证3.2.3Exa
七维大脑·2023-11-19 11:03

Kafka学习笔记（二）

目录第3章Kafka架构深入3.3Kafka消费者3.3.1消费方式3.3.2分区分配策略3.3.3offset的维护3.4Kafka高效读写数据3.5Zookeeper在Kafka中的作用3.6Kafka事务3.6.1Producer事务3.6.2Consumer事务（精准一次性消费）第4章KafkaAPI4.1ProducerAPI4.1.1消息发送流程4.1.2异步发送API4.1.3同步发
七维大脑·2023-11-19 11:03

Kafka学习笔记

own编辑器提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka学习笔记Kafka介绍传统消息队列的应用场景消息队列的两种模式Kafka基础架构Kafka快速入门1、安装部署
weixin_42718610·2023-11-19 00:16

kafka学习(一)搭建

此次学习所用的kakfa版本较老,为17年的版本一.安装文件(打包上传到百度云盘)kafka所用kafka_2.11-0.10.1.1.tgzzookepperzookeeper-3.4.8.tar.gzjdk1.8setup二.安装文件都放/opt下tar-zxvfzookeeper-3.4.8.tar.gztar-zxvfkafka_2.11-0.10.1.1.tgz三.配置zookeper文
zhaohangzhi·2023-11-18 20:41

Kafka学习之一深度解析

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理为什
aodaidi6752·2023-11-18 20:24

zookeper&kafka学习

1、whykafka优点缺点kafka吞吐量高，对批处理和异步处理做了大量的设计，因此Kafka可以得到非常高的性能。延迟也会高，不适合电商场景。RabbitMQ如果有大量消息堆积在队列中，性能会急剧下降每秒处理几万到几十万的消息。如果应用要求高的性能，不要选择RabbitMQ。性能RocketMQ低RocketMQ性能比RabbitMQ高一个数量级，适合电商场景。RocketMQ主要用于有序，事
xuehuagongzi000·2023-11-18 20:20

Kafka学习---分区与副本原理解析

一、kafka集群kafka集群是由broker组成的。Broker是Kafka的服务节点，即Kafka的服务器。其架构图下图：Producer：生产者，也就是发送消息的一方。生产者负责创建消息，然后将其发送到Kafka。Consumer：消费者，也就是接受消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。ConsumerGroup：一个消费者组可以包含一个或多个消费者。
大龄码农生活·2023-11-08 17:09

Kafka学习记录

参考看完这篇Kafka，你也许就会了Kafka参考Kafka消费者客户端详解docker下载阿里云镜像下载docker安装官网下载docker介绍+命令Docker&Docker命令学习这个写的挺好的。。aliyun容器镜像加速使用Mac系统docker安装配置及基本使用简介Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有
你给我等着啊·2023-10-28 07:07

kafka学习

目录一、Kafka概述消息队列的两种模式点对点模式发布/订阅模式Kafka基础架构二、docker安装kafka搭建管理界面kafka-manager三，kafka常用命令四、Kafka架构深入Kafka工作流程及文件存储机制Kafka生产者分区策略数据可靠性保证副本数据同步策略ISRack应答机制数据一致性问题。故障处理细节ExactlyOnce语义Kafka消费者消费方式分区分配策略Round
weixin_42412601·2023-10-25 12:11

Kafka学习(最新版3.6.0)

文章目录一、初识MQ1.1什么是MQ1.2同步和异步通讯1.1.1同步通讯1.1.2异步通讯1.3技术对比1.4MQ的两种模式二、初识Kafka2.1Kafka的使用场景2.2Kafka基本概念2.3Topic与Partition三、Kafka基本使用3.1部署前的准备3.2启动kafka服务器3.3Kafka核心概念之Topic3.4发送消息3.5消费消息3.6消费者偏移量3.7单播消息3.8多
King Gigi.·2023-10-22 14:37

大数据-kafka学习（四）——文件存储

一、文件存储机制topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生成的数据。Producer生成的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment，每个segment包括：“.index”文件、
机智兵·2023-10-22 10:15

Kafka学习笔记

一些基本概念Kafka属于分布式的消息引擎系统。消息：Record。Kafka是消息引擎嘛，这里的消息就是指Kafka处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。一个有序不变的消息序列。每个主题下可以有多个分区。消息位移：Offset。表示分区中每条消息的位置信息，是一个单调递增且不变的值。副本：Replica。Kafka
cean_seven·2023-10-20 20:10

kafka学习笔记

1.官网ApacheKafka2.akfX轴拆分:水平复制，就是讲单体系统多运行几个实例，做集群加负载均衡的模式,主主、主备、主从。解决单点，高可用问题Y轴拆分:基于不同的业务拆分Z轴拆分:基于数据拆分。分片分治3.概念ApacheKafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kaf
CelineT·2023-10-19 04:13

2019-05-23 Kafka学习

一.简介1.1概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式
天台上思考的唐吉诃德·2023-10-17 21:00

Kafka学习笔记（六）· 高级应用~集群~监控

目录八、高级应用1、命令行工具1、消费组管理2、消费位移管理2、数据管道Connect1、概述2、独立模式-文件系统3、SpringBootKafka1、添加pom文件2、添加application.properties3、消息的发送4、消息的接收5、Kafka事务的支持九、集群管理1、集群使用场景2、集群搭建1、Kafka集群搭建3、多集群同步1、配置十、监控1、监控度量指标1、JMX2、JCo
发抖吧小喵喵·2023-10-11 09:11

中间件-Kafka学习笔记

目录Kafka概述Kafka安装Linux集群版Kafka命令行操作Kafka生产者Kafka消费者KafkaAPI操作ProducerAPIConsumerAPIKafka监控Kafka调优Kafka机器数量计算Kfka压力测试Kafka分区数计算Kafka概述kafka基础架构Producer：消息生产者，向kafkabroker发消息得客户端Consumer：消息消费者，向kafkabrok
笑一笑、·2023-10-11 07:05

1、kafka中的相关概念简介

网上关于ApacheKafka的介绍已经有很多了，因此我不打算在这里对它的概念做过多的描述，更多的是从应用场景的角度来切入我们的Kafka学习之旅。
Andrew李禄·2023-10-09 22:12

Kafka学习整理Producer和Consumer编程实践)

1、编写消息生产者packagekafka;importjava.util.Properties;importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.producer.ProducerRecord;importorg.apache.kafka.common.serializatio
饲养员壹号·2023-10-09 19:16

kafka运行机制

kafka学习入门什么是kafka-简书1.什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。
qq_43519025·2023-10-09 16:47

Kafka学习笔记

定义：Kafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的CReplicated)、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。关键特性：1.能够允许发布和订阅流数据。从这个角度来讲，平台更像一个消息队列或者企业级的消息系统。2.存储流数据时提供相应的容错机制。3.当流数据到达时能够被及时处理。前提：作为一个消息系统，其基本结构中至少要有产生消息的组件(消息生产者
海龟_xhk·2023-10-08 19:57

Kafka学习，精炼总结

Kafka前言随着bigdata时代的到来，数据中蕴含的价值日益得到展现，仿佛一座待人挖掘的金矿，引来无数的掘金者。但随着数据量越来越大，如何实时准确地收集并分析如此大的数据成为摆在所有从业人员面前的难题。为了解决大数据流式处理中面临的巨大数据吞吐量的难题，LinkedIn公司开发了Kafka作为其活动流和运营数据处理的消息管道。作为全球最大的职业社交网站，LinkedIn会员人数在世界范围内已超
yolee is zyl·2023-10-08 05:22

Kafka学习笔记01

一、Kafka_课程简介二、Kafka_概述_定义前端埋点，然后将数据发送到对应的日志服务器当中，发送的形式呢？是使用接口这种方式怎么将日志文件导入到Hadoop集群呢？可以使用Flume，它可以时刻监控文件里面数据的变化，每产生一条日志，我都能监控得到，然后呢？并把这些数据传到Hadoop集群。Kafka可以帮我们进行缓冲，它的处理数据量的能力非常强大，你可以把海量的数据先灌倒Kafka集群当中
突然好想你之路在脚下·2023-10-02 06:38

SpringBoot整合RocketMQ笔记

SpringBoot版本为2.3.12.ReleaseRocketMQ对比kafka学习链接https://zhuanlan.zhihu.com/p/335216381代码实战https://www.cnblogs.com
来自喵星·2023-10-01 23:10

Apache Kafka学习笔记

ApacheKafkaKafka是专为分布式高吞吐系统设计的生产-消费消息中间件，可以处理大量的数据，适合离线和在线消息消费。Kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。Kafka构建在ZooKeeper同步服务之上。它与ApacheStorm和Spark非常好地集成，用于实时流式数据分析。优点可靠性：Kafka是分布式，分区，复制和容错的可扩展性：Kafka消息传递系统轻松缩放，无
wch853·2023-09-24 09:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他