KafKa学习

kafka学习00-Kafka相关概念

1.2.1消息消息：字节数据组。消息有一个可选的元数据称为键，也是一个字节数组，在分区时会对键取hash值再模以分区数得到这条数据存进哪个分区。1.2.2模式可以理解为数据的格式：如：json、xml、强类型模式Avro提供了一种紧凑的序列化格式，模式和消息体是分开的，支持强烈型和模式进化。数据格式要一致才能解除生产者和消费者之间的耦合。1.2.3主题和分区主题：可以把一个主题看成是从生产者流到消
活英雄·2021-06-23 01:16

kafka学习笔记1

下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2Replication；数据Producer流动如图所示：clipboard(2).png当集群中新增2节点，Partition增加到6个时分布情况如下：clipboard(3).pngProducer在发布消息到某个Partition时，先通过ZooKeeper找到该Partition的Leader，
cclucc·2021-06-19 04:33

kafka学习的相关网址

1.kafka介绍以及Mac下安装使用Kafka（里面有kafka定义和功能的介绍）https://blog.csdn.net/github_37216944/article/details/866587682.KafkaShell基本命令（包括topic的增删改查）https://blog.csdn.net/qq_16162763/article/details/815627203.kafka在
混世魔王也得学计算机·2021-06-19 03:31

Kafka学习（一）-------- Quickstart

参考官网：http://kafka.apache.org/quickstart一、下载Kafka官网下载地址http://kafka.apache.org/downloads截至2019年7月8日最新版本为2.3.02.12为编译的scala版本2.3.0为kafka版本Scala2.12-kafka_2.12-2.3.0.tgz(asc,sha512)解压>tar-xzfkafka_2.12-2
tree1123·2021-06-18 21:51

kafka学习踩坑

image.pngPartitionParition是物理上的概念，每个Topic包含一个或多个Partition.Kafka通过Zookeeper管理集群配置，选举leader，以及在ConsumerGroup发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。分片：为了提升性能，为每个topi
可笑可乐·2021-06-04 10:52

Kafka学习笔记

《kafka快速学习入门与实践》第一讲，Kafka术语知乎上文章简单解释了为什么要用消息中间件，为了解耦消息（数据）的生产和消费。kafka是分布式消息引擎，提供一套完备的消息发布与订阅解决方案。发布订阅的对象是主题（Topic）。向主题发布消息的客户端应用程序称为生产者（Producer）。订阅这些主题消息的客户端应用程序就被称为消费者（Consumer）。一个Kafka集群由多个Broker组
Andytl的世界·2021-05-16 16:01

Kafka学习（1）——kafka综述

本次关于kafka学习的笔记，将分为四个部分进行：ka
东方一号蓝·2021-05-15 07:51

kafka学习入门 什么是kafka

1.什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。2.基本概念1.kafka作为集群运行在一个或者多个服务器上2.kafka集群存储的消息是以topic为类别记录的3.kafka存储的消息是k-v键值对，k是offset偏移量，v就是消息的内容4.topic：kafka将
酱油和醋·2021-05-14 15:59

Kafka学习整理

1名词解释image.pngTopic：可以认为一个一类消息，生产者和消费者通过topic进行数据传输partition：Kafka中消息是以topic进行分类的，生产者通过topic向Kafkabroker发送消息，消费者通过topic读取数据。如果partition规则设置的合理，所有消息可以均匀分布到不同的partition里，这样就实现了水平扩展（解决了性能问题）。同时生产者可以通过设置k
愤怒的老照·2021-04-23 17:12

Kafka学习与实战

1，阻塞队列BlockingQueue(Java核心API的接口)解决线程通信的问题阻塞方法：put(存数据)、take(拿数据)。生产者消费者模式生产者：产生数据的线程。消费者：使用数据的线程。实现类ArrayBlockingQueueLinkedlockingQueuePriorityBlockingQueue、SynchronousQueue、DelayQueue等。2.kafkakafka
w2cs·2021-03-12 10:08

Kafka学习笔记--kafka 概述、快速入门，架构深入

文章目录第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门2.1安装部署2.1.1集群规划2.1.2jar包下载2.1.3集群部署2.2Kafka命令行操作第3章Kafka架构深入3.1Kafka工作流程及文件存储机制3.2Kafka生产者3.2.1分区策略3.2.2数据可靠性保证1）副本数据同步
-出发-·2021-02-28 21:38

python-kafka学习笔记（二）：kafka配置与传输大文件失败解决

引言本篇主要想总结一下关于kafka的基本操作，以及当时遇到的一个问题，想要传超过1M以上的信息通过队列。kafka的基本操作--创建bin/kafka-topics.sh--create--zookeeper192.168.1.229:2181--replication-factor1--partitions1--topichello-topic-12--查看bin/kafka-topics.s
submarineas·2021-02-09 20:47

kafka学习笔记-04-工作流程

翻译地址：https://www.tutorialspoint.com/apache_kafka/apache_kafka_workflow.htm1.工作流程至此，我们讨论了kafka的核心概念，接下来让我们抛出几个kafka工作流程的亮点。kafka是一个将topic分割为1或多partition的集合，每个partition是一个线性的数据序列，每个partition被他们的索引标识，我们称
blackblackblack223·2021-01-30 20:33

kafka学习笔记-02-kafka基础术语

翻译链接:link.kafka基础在深入kafka学习之前，首先需要知道一些术语，如topic，brokers，producer以及consumer，在如下图表中显示的术语，在最后的表格中会详细描述这些图像中组件的详细含义
blackblackblack223·2021-01-29 20:39

kafka学习笔记-01-介绍kafka

1.kafka介绍1.1开始之前翻译内容来自以下站点：link.Kafka起源LinkedIn于2011年成为了apache的开源项目，2012年成为了apache顶级项目。kafka由java，sala编写，基于容错的消息发布-订阅系统，具备速度快，可扩展，分布式的特性。本指南将带领您通过部署kafka集群探索kafka实现机制，安装运行，最终通过大数据技术集成的实时应用案例得出我们的学习结论。
blackblackblack223·2021-01-29 16:45

大数据-kafka学习

一、kafka基本概念1.1消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模
爱搞技术的吴同学·2021-01-04 11:11

Kafka学习笔记

O：能够熟练使用KafkaKR1：掌握重要的运维操作：能够安装部署，熟悉常用的参数KR2：掌握重要的API：通过demo的形式，对常用API进行使用练习，三次KR3：掌握Kafka的典型使用场景，并熟悉各种场景的最佳实践KR4:掌握常见问题的发现及解决方案
liuziming·2021-01-04 00:06

kafka学习总结 2020-12-16

一:kafka拓扑图v2-0aff32c61db94ed711940f5ec4c0175d_720w.jpgv2-e9cfea7a6bc987cb5615c746a8d44ff3_720w.jpg二:Kafka精准一次性语义数据不丢失(可靠性):分3部分分析-生产者,kafka集群,消费者不丢失可能需要重试,重试可能会导致重复,使用幂等(唯一id)解决可能的重复生产问题ack应答机制幂等,事务数据
只猿·2020-12-17 10:48

kafka学习笔记-kafka基础

参考：极客时间-Kafka核心技术与实战kafka术语img消息（Record）：kafka要处理的主要对象。主题（Topic）：承载消息的逻辑容器，实际使用中多用来区分具体的业务。分区（Partition）：一个有序不变的消息序列，每个主题下有多个分区。消息位移（Offset）：分区中每条消息的位置信息，是一个单调递增且不变的值。副本（Replica）：分为领导者副本和追随者副本，每个分区可配置
疯狂猪宝宝·2020-10-23 18:30

kafka学习笔记

Kafka概述是一个分布式的基于发布订阅模式的消息队列2.Kafka几个角色Broker：每一个kafka进程实例Topic：用来对消息进行分类Partition：分区，用于对某个topic做发送的负载均衡Leader：生产者和消费者对某一个topic实际发送和消费的来源Follower：对某一个topic做冗余备份Producer：消息生产者Consumer：消息消费者Topic-》分区-》分区
雨夜都行·2020-10-21 18:10

kafka学习-zookeeper单机伪集群搭建（草略记录，文件上传下载即用）

资源整合包：https://download.csdn.net/download/weixin_37352094/10856567注：本文为单机集群1.下载zookeeper点击直接下载地址：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5.3-beta.tar.gz2.下载后解压目录结构为注：
狗蛋儿_312·2020-09-17 13:26

kafka学习笔记(四)spring boot整合kafka0.10.0.1（使用配置类）

配置类，配置属性，以及实现收发消息的实现类都与笔记(三)的代码相同，不同的是引入的kafka的依赖,继承kafka0.10.0.1只需要引入一个jar包，如下：org.springframework.kafkaspring-kafka1.2.2.RELEASE源码下载：https://download.csdn.net/download/qq_34246546/10534456
xc丶卡卡·2020-09-17 07:32

kafka学习（二）--windows下安装配置

Kafka版本是kafka_2.10-0.8.2.1(本地zookeeper已正常启动，或则启动kafka的自带zookeeper，详见http://blog.csdn.net/shangboerds/article/details/39033677)单节点kafka配置1.修改配置文件conf\server.properties：20行：broker.id=0；28行：host.name=loc
zero__007·2020-09-16 17:16

深入理解Kafka学习笔记-第三章 消费者

消费者组Kafka中存在一个消费者组的概念，每个消费者都属于一个消费者组。当消息发布到主题之后，只会被订阅它的消费者组中的其中一个消费者消费。每个分区只能被一个消费者组中的一个消费者所消费。这里就有一个分配策略的概念：对一个消费组而言，一个分区被一个消费者所消费，如果订阅主题有6个分区，一个消费者消费6个分区，两个消费者各消费3个分区，三个消费者个消费两个分区；这样消费者具有横向伸性，可以通过增加
行人逆旅·2020-09-15 23:09

KAFKA学习

Kafka学习官网下载网址：https://mirrors.bfsu.edu.cn/apache/kafka/2.5.0/kafka-2.5.0-src.tgz中文文档：https://kafka.apachecn.org
百木成林2018·2020-09-15 22:23

Mac上通过docker-compose搭建Kafka学习环境

Kafkadocker-compose提供一个单机zk、集群kafka和kafka-manager，供学习使用。version:'2'services:zookeeper:image:wurstmeister/zookeeperports:-"2181:2181"volumes:-"./zookeeper/data:/data"-"./zookeeper/datalog:/datalog"kafk
行人逆旅·2020-09-15 21:28

Kafka学习

本文转载自：http://www.58maisui.com/2016/11/15/883/Kafka架构简介Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点：·消息持久化：为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供稳定的性能。使用Kafka时，
JasonZhangOO·2020-09-15 13:12

知识脑图之Kafka（一）

脑图学习之Kafka（一）Kafka学习脑图（一）很早就想把自己学到的东西以博文的方式发布出来，一来可以帮自己回顾以往的只是，二来用于交流，有不明白的或者理解错误的地方可以让大家指正，但苦于写作能力无法支撑博文创作工作
bellthk·2020-09-15 13:31

Kafka相关文章索引（2）

基本常识kafka主要配置Kafka配置说明Kafka学习整理四(Producer配置)Kafka学习整理五(Consumer配置)key为null时Kafka会将消息发送给哪个分区?
司小幽·2020-09-15 12:20

Kafka学习(一)——生产者Producer

目录一.发送的几种方式二.主要源码三.自定义负载均衡四.消息传递保障五.一些参数配置五.Producer发送数据打印日志重复一.发送的几种方式在producer端，存在2个线程，一个是producer主线程，用户端调用send消息时，是在主线程执行的，数据被缓存到RecordAccumulator中，send方法即刻返回，也就是说此时并不能确定消息是否真正的发送到broker。另外一个是sende
程研板·2020-09-15 12:47

Kafka学习记录及简单上手代码

kafka为什么需要消息队列?解耦:允许独立的拓展或修该双方逻辑交互过程程序,只要保证保证双方的遵守同样的接口约束冗余:保证数据多个副本不至于数据丢失以及数据重复拓展性:可添加相应的额外处理过程灵活性&峰值处理能力:突发流量访问激增,仍然能够保证程序稳定运行可恢复性:消息队列降低了进程间的耦合性,一个消息队列处理进程挂掉,加入队列的消息任然可以在系统恢复后被处理顺序保证:到部分消息队列都要保证处理
不懂事的小流氓·2020-09-15 11:04

Kafka学习【1】

Kafka学习【1】Kafka的用途有哪些？使用场景如何？###消息系统：Kafka和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。
blk.com·2020-09-14 01:02

kafka学习-环境搭建

1、几行命令./kafka-console-consumer.sh--zookeeper192.168.86.133:2181,192.168.86.132:2181,192.168.86.134:2181--topicshuaige--from-beginning./kafka-console-producer.sh--broker-list192.168.86.133:9092,192.168
不想飞的天鹅·2020-09-14 00:22

Kafka学习笔记-- 1 入门知识和使用场景

目录1Kafka入门1.1主流mq框架对比1.2kafka主要特性1.3AMQP协议1.4Kafka整体架构1.5核心概念brokertopicpartitionrecordreplication1.6kafaka核心API概述producerconsumer3consumer的commitoffset4consumer的数据获取方式2kafka使用场景2.1消息系统2.2存储系统2.3日志聚合2
郑泽凯·2020-09-11 19:55

Kafka学习笔记——Kafka简介与使用场景介绍

IntroductionKafka是linkedin用于日志处理的分布式消息队列，同时支持离线和在线日志处理。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系
拉里·佩奇·2020-09-11 18:17

Kafka与Spring对接踩过的坑

2.简单的实现java对接kafka2.1.Kafka学习网站Kafka的安装和深入学习：http://orchome.com/kafka/in
左撇子帕布·2020-09-10 23:19

kafka学习入门

https://www.cnblogs.com/coloz/p/10487679.htmlwindow下安装E:cdE:\tools\zookeeper3.4.12\binzkServer.cmdsetJAVA_HOME=E:\tools\jdk1.8.0_171E:cdE:\tools\kafka_2.11-2.3.0\.\bin\windows\kafka-server-start.bat.\
清风2556·2020-09-10 21:28

kafka学习推荐

博客https://www.cnblogs.com/huxi2b/kafka版本特性https://cwiki.apache.org/confluence/display/KAFKA/KIP-226+-+Dynamic+Broker+Configurationkafkaindexhttps://cwiki.apache.org/confluence/display/KAFKA/Kafka+Impr
王奕然·2020-08-26 09:13

Kafka学习笔记

目录一Kafka概述1.1Kafka是什么1.2Kafka内部实现原理1.2为什么需要消息队列1.3Kafka架构二Kafka集群部署2.1环境准备2.1.1集群规划2.1.2jar包下载2.1.3虚拟机准备2.1.4安装jdk2.1.5安装Zookeeper2.2Kafka集群部署2.3Kafka命令行操作2.4Kafka配置信息2.4.1Broker配置信息2.4.2Producer配置信息2
大雄号·2020-08-25 17:09

kafka学习笔记三：负载均衡

Kafka具有消费分组的概念，一个Topic的一个partition只能由一个Consumergroup中的一个Consmer消费，概念似乎很容易理解，那么我们来做个测试看1、创建一个Topic使用一个已经创建好的Topic，[root@node1bin]#./kafka-topics.sh--describe--zookeeperlocalhost:2181--topicscriptsTopic
see_you_see_me·2020-08-25 07:32

librdkafka

kafka学习笔记：知识点整理一、为什么需要消息系统1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
lusic01·2020-08-24 14:00

kafka学习(一)java发送接收消息,自定义有偏移量

kafka学习(一)java连接这篇连接的文章借鉴了https://www.cnblogs.com/qizhelongdeyang/p/7354183.html手动控制offset一.这个是pom.xml
zhaohangzhi·2020-08-23 04:06

Kafka学习笔记 重复消费 消息队列 partition ack 应答机制

要解决的问题1存储数据2重复消费将数据的生产和消费分开（异步通信）保证顺序缓冲Kafka重要的消息组件生产者消费者消费者组TopicKafka对消息保存时，根据Topic归类Broker一个Kafka实例称为一个Brokerpartition一个大的Topic可以分为多个partition,用来做负载均衡。一个partition中的数据是有序的，不能保证多个partition之间的数据有序。如果数
每天写程序·2020-08-23 03:18

kafka学习笔记五

2019独角兽企业重金招聘Python工程师标准>>>kafka学习笔记五HighLevelConsumer-无关offset的处理很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset
weixin_33995481·2020-08-23 03:08

Kafka学习之怎么保证不丢，不重复消费数据

Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。丢包问题：消息推送服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网卡爆满，或者磁盘处于繁忙状态，可能会出现丢包现象。解决方案：首先对kafka进行限速，其次启用重试机制，重
sinat_28793941·2020-08-23 02:39

监控Kafka消费者组的消费积压

kafka学习笔记--使用javaapi监控Kafka消费者组的消费积压/***@date2020/1/610:04*@description获取Kafka指定消费者组堆积的偏移量,并发送邮件预警*/@
曹雪朋·2020-08-23 02:43

Kafka学习笔记（6）----Kafka使用Producer发送消息

1.Kafka的Producer不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下：2.添加依赖pom.xml文件如下：org.apache.kafkakafka_2.122.1.0org.apache.kafkakafka-clients2.1.03.发送消息3.1创建生产者创建生产者的时候，我们需要为生产者设置一些属
Teddies10081008·2020-08-23 01:07

kafka学习系列：消息发送确认机制，避免程序退出导致数据丢失的情况

文章目录场景环境正文spring-kafka发送消息的介绍消息发送确认机制一、同步阻塞二、异步等待结果返回总结参考链接随缘求赞场景在使用spring-kafka进行功能开发的时候，思考过这样一个问题：假如使用信号量的方式（不了解的，可以点击我的这篇文章《Java学习系列：使用SignalHandler来处理Linux信号量，控制程序结束的步骤》进行了解）来终止程序，虽然我们使用了kafkaTemp
ldx2·2020-08-23 00:57

Kafka学习资料

官方文档：https://kafka.apache.org/documentation/LearningApacheKafka（pdf）博客：https://blog.csdn.net/lizhitao/article/category/2194509
litoujkl·2020-08-22 17:55

kafka学习总结（处理多个consumer只消费topic数据一次）

最近遇到一个问题，由于kafka接收数据进行处理所花费的时间较长，导致kafka队列中有堆积，然后就想开启很多个consumer但是不怎么会用，报了一些错误，通过一天的学习了解，终于可以让多个consumer共同消费topic中的数据了。使用3个producer同时对一个topic写入数据，其中使用2个group组来对数据进行读取，其中topic中的partitions定为2。在每个group下又
zhaishujie·2020-08-22 15:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他