Kafka系列

Kafka系列（16）揭开位移的神秘面纱

Kafka中内部主题_consumer_offsetsOffsetsTopic老版本的位移管理是依托于ApacheZookeeper,它会自动或者手动将位移数据提交到zookeeper中保存。当Consumer重启后，它能自动从zookeeper中读取位移数据，从而在上次消费截至的地方继续消费。这种设计使得KafkaBroker不要保存位移数据，减少Broker端持有的状态空间，因而有利于实现高伸
longdada007·2020-08-17 08:22

面试官问我如何保证Kafka不丢失消息?我哭了！

5分钟带你体验一把KafkaKafka系列第三篇！10分钟学会如何在SpringBoot程序中使用Kafka作为消息队列?生产者丢失消息的情况生产者(Producer)调用send方法
JavaGuide·2020-08-14 18:26

apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

kafka.common.ConsumerRebalanceFailedException:log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63can'trebalanceafter3retriesatkafka.consumer.ZookeeperConsumerConnector
JerryDeng·2020-08-14 09:59

apache kafka系列之ZookeeperConsumer实现

kafka的ZookeeperConsumer数据获取的步骤如下：入口ZookeeperConsumerConnectordefconsume[T](topicCountMap:scala.collection.Map[String,Int],decoder:Decoder[T]):Map[String,List[KafkaStream[T]]]方法客户端启动后会在消费者注册目录上添加子节点变化的
幽灵之使·2020-08-11 05:52

apache kafka系列之客户端开发-java

apachekafka中国社区QQ群:1622725571.依赖包org.apache.kafkakafka_2.100.8.12.producer程序开发例子2.1producer参数说明#指定kafka节点列表，用于获取metadata，不必全部指定metadata.broker.list=192.168.2.105:9092,192.168.2.106:9092#指定分区处理类。默认kafk
幽灵之使·2020-08-09 09:37

【死磕kafka】(二) Kafka消息分区机制的原理及分区策略

点上方蓝字，将胖滚猪“设为星标”,拜托拜托~温故：在【死磕Kafka系列】第一篇我们了解到：主题是存储消息的一个逻辑概念，可以简单理解为一类消息的集合。
胖滚猪学编程·2020-08-07 20:17

kafka系列-入门篇之安装

前言Kakfa经过几年的时间，终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了，也可以说明它在大数据生态圈的地位是非常重要的。经过几个版本的迭代，API发生了一些变化，增加了一些新的特性，这些我们在后面的文章再来慢慢道来吧，今天我们从kafka的安装开始。前期准备我们知道大数据是从Hadoop发展而来，但是kafka的安装还不是必需使用hdfs、mapreduc
马各马它·2020-08-03 15:35

Kafka系列（27）关于高水位和Leader Epoch的讨论

什么是高水位在时刻T，创建任意时间（EventTime）为T'且T'2的Epoch条目因此B无需执行任何日志截断操作。副本是否进行日志截断不在依赖于高水位进行判断现在副本A宕机了，B成为Leader同样地，当A重启回来后，执行与B相同的判断逻辑，发现也不用日志截断后面生产者向B写入新消息时，副本所在的Broker缓存中，会生成LeaderEpoch的新条目【Epoch=1Offset=2】
longdada007·2020-08-02 13:53

kafka系列（七）使用Kafka-Connect导入导出数据

摘要本文主要内容是介绍如何使用kafka-connect进行导入导出数据，文章内容来自于kafka官方文档，对官方文档中一些内容作了简要补充。简介向console中写入数据然后再写回到console是非常方便的，但是你可能想从其他的数据源写入数据，然后将数据导出到kafka以外的其他系统，kafkaconnect为很多系统提供导入导出数据功能，而不用写任何代码1、准备数据源>mkdir/data>
iblks·2020-07-30 14:25

Kafka Consumer底层原理分析【Kafka系列】

虽然目前Kafka0.10版本已经重写了其API，但底层原理是类似的，所以我们可以先了解kafka0.8.x里面的提供的Consumer的实现原理与交互流程Kafka提供了两套API给ConsumerTheSimpleConsumerAPIThehigh-levelConsumerAPI1.低阶API本质上是提供了一种与broker交互信息的API剩下的处理全靠用户自己的程序，功能比较简单，但用户
写代码的可可·2020-07-28 11:16

kafka系列：kafka各组件详解

1、producer生产者1.1写入方式producer采用push模式将消息发布到broker，每条消息都被append到patition中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。1.2消息路由producer发送消息到broker时，会根据分区算法选择将其存储到哪一个partition。其路由机制为：（1）指定了patition的id，则直接使用；（2）未指定
大数据技术之路---花火·2020-07-28 07:53

深入Kafka系列(二) consumer开发

本篇介绍Kafkaconsumer开发相关的内容。1.consumer基本概念1.1消费者Kafka消费者就是各种读取Kafka集群消息的应用程序。值得注意的是consumer的版本和分类。旧版本的consumer是由Scala开发的，在Kafka0.9.0.0版本后推出Java开发的新版本consumer。新旧版本的consumer在设计上、API上有很多不同，所以要注意区分。本文以新版本的co
北邮郭大宝·2020-07-28 05:51

Kafka系列（30）怎么重设消费组位移

为什么要重设消费组位移Kafka的消费者读取消息是可以重演的。RabbitMQActiveMQ这样传统的消息中间件，处理和响应消息的方式，一旦消息被成功处理就会从Broker上删除kafka是基于日志结构的消息引擎，消费者在消费消息时，仅仅是从磁盘上读取数据而已，只是读的操作，因此消费者不会删除消息数据。同时，由于位移数据是由消费者控制的，因此它能够很容易地修改位移的值，实现重复消费历史数据的功能
longdada007·2020-07-28 05:56

Kafka系列（33）kafka认证机制

什么是认证机制验证鉴权authentication是指通过一定的手段，完成对用户身份的确认，认证的主要目的是确认当前声称为某种身份的用户确实是所声称的用户授权一般是指对信息安全或者计算机安全相关的资源定义与授予相应的访问权限认证要解决的是你要证明你是谁的问题，授权要解决的是则是你能做什么的问题认证机制0.9.0引入认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤基于SSL
longdada007·2020-07-28 05:56

apache kafka系列之Controller设计机制和状态变化

在kafka集群中，其中一个brokerserver作为中央控制器，负责管理分区和副本状态并执行管理着这些分区的重新分配。下面说明如何通过中央控制器操作分区和副本的状态。名词解释：isr：同步副本组OfflinePartitionLeaderSelector:分区下线后新的领导者选举OAR：老的分配副本PartitionStateChange：其有效状态如下:NonExistentPartitio
幽灵之使·2020-07-28 02:37

Kafka系列9：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（上）...

前言在本文开始之前，作者一直有个疑惑，就是面试题是只写写问题和答案就草草了事，还是应该深入分析一下其背后发生的一些原理。和朋友探讨以后作者还是决定采用后者的方式，因为我认为不仅要做到知其一，更要知其二，所以我们就用讲解原理的方式来看看Kafka常见的面试题吧。另外避免文章过长，我打算接下来使用几篇文章来详解每道题背后的原理。好了废话有点多，直接开干。文章概览kafka如何保证数据的可靠性和一致性？
ShiLuoHeroKing·2020-07-15 18:33

Kafka系列四 之 多分区如何保证数据的有序性

ApacheKafka消息怎么写？kafka是一个分布式的流消息队列生产者将消息发布到某个主题broker进行存储消费者订阅+读数据从该主题中消息（记录）以序列化字节存储，消费者负责反序列化消息，消息可以具有任何格式，最常见的是字符串，JSON和Avro。JSON格式的好处与坏处！？√1.消息始终具有键值结构，键或值可以为null。当键为null时，将使用循环分发来分发消息。如何根据自定义设定ke
留歌36·2020-07-13 07:09

kafka系列4-什么是kafka

关于什么是kafka，看过一个简单例子。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那要不了一会，消费者就吃不消了（消息堵塞，最终导致系统超时），消费者拒绝再
开心大魔豆·2020-07-13 06:55

kafka系列-kafka多分区的情况下保证数据的有序性

场景mysql的数据-->通过canal-->发送到kafka-->mysql、hive在做canal集成kafka的时候，发现一个问题，多分区的情况下，跨分区的数据消费是无序的。这时候就会出现问题，如果消费端消费的更新日志在插入日志之前，就会因为数据缺失导致异常（这样的情况随着并发出现的概率会增大），所以，需要保证新增的日志和更新的日志是有序的被消费。kafka发送数据是支持指定分区的，这时候，
boat824109722·2020-07-12 23:15

7102-2019年技术文全套整理 | 建议收藏

Kafka系列为了追求极致的性能，Kafka掌控了这11项要领！
朱小厮·2020-07-12 22:23

Kafka系列之(5)——Kafka Producer源码解析

KafkaProducer源码解析KafkaProducer使用示例publicclassProducerextendsThread{privatefinalKafkaProducerproducer;privatefinalStringtopic;privatefinalBooleanisAsync;publicProducer(Stringtopic,BooleanisAsync){Prope
康康不遛猫·2020-07-12 17:44

Kafka 问：把大象装冰箱，总共要几步？

Kafka系列推荐阅读：奔跑吧，Kafka！本文内容来源参考《深入理解Kafka核心设计与原理实践》——朱忠华著问：要把大象装冰箱总共分几步？1.打开冰箱门。2.把大象装冰箱。3.关闭冰箱门。
程序员那点事儿·2020-07-11 17:42

kafka系列——KafkaConsumer源码分析

实例化过程与KafkaProduer类似,只是初始化的组件有所差异,看KafkaConsumer构造函数消费者实例化的主要组件介绍ConsumerConfig：消费者级别的配置,将相应配置传递给其他组件ConsumerCoodinator：负责消费者与服务端GroupCoordinator通信ConsumerNetworkClient：对网络层通信NetworkClient的封装,用于消费者与服务
循环ing·2020-07-11 11:29

kafka系列介绍 — 核心API介绍及实例

Producer的APIProducer的创建，依赖于ProducerConfigpublicProducer(ProducerConfigconfig);单个或是批量的消息发送publicvoidsend(KeyedMessageConsumer的API主要是Consumer和ConsumerConnector，这里的Consumer是ConsumerConnector的静态工厂类classCo
_zhangjian_·2020-07-10 14:17

springboot 集成kafka系列 三、springboot集成kafka消费者

1.1、新建springboot脚手架工程，pom文件如下，其中引入了kafka需要的依赖，注意这里的kafka版本号需要和之前安装的kafka版本一致，要不然会有问题4.0.0com.zeshankafka-consumer0.0.1-SNAPSHOTjarkafka-consumerkafka集成org.springframework.bootspring-boot-starter-paren
yfz792178428·2020-07-10 13:55

springboot 集成kafka系列 二、springboot集成kafka生产者

1、新建springboot脚手架工程，pom文件如下，其中引入了kafka需要的依赖，注意这里的kafka版本号需要和之前安装的kafka版本一致，要不然会有问题4.0.0com.zeshankafka-producer0.0.1-SNAPSHOTjarkafka-producerkafka集成org.springframework.bootspring-boot-starter-parent2
yfz792178428·2020-07-10 13:55

Kafka知识盘点【贰】_broker

Kafka知识盘点【壹】_生产者kafkabroker这部分，可能是kafka系列知识的核心所在。好好总结。
xinzun·2020-07-10 13:03

kafka如何保证数据不丢失

5分钟带你体验一把KafkaKafka系列第三篇！10分钟学会如何在SpringBoo
不言尘世·2020-07-10 10:07

mac 搭建kafka系列教程

新入手mac，当然是装各种软件啦下面来记录一下使用mac安装kafka的过程，mac上面的homebrew是真的好用下面我们来开始进入安装吧安装环境基础#jdk1.8并且配置好环境变量1.直接使用brew安装，安装过程会自动安装zookeeperbrewinstallkafka效果如下2.安装位置以及配置文件路径都在图片上显示了，并且怎么启动也都告诉了我们3.安装位置/usr/local/Cell
256g的胃·2020-07-06 21:23

Kafka系列-API（分区机制）

Kafka分区机制介绍与示例分区规则Kafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物理上对应一个文件夹，以”topicName_partitionIndex”的命名方式命名，该文件夹下存储这个分区的所有消息(.log)和索引文件(.index)，这使得Kafka的吞吐率可以水平扩展。生产者在生产数据的时候，可以为每条消息指定Key，这样消息被发送到bro
raincoffee·2020-07-04 18:17

kafka测试

image.png测试使用的消息为\n====================================\n"+"[{\"item_id\":\"7341954\",\"title\":\"ApacheKafka
cpu_driver·2020-07-02 07:12

【kafka系列教程29】从老版本升级kafka

从老版本升级kafka从0.8.x,0.9.x或0.10.0.X升级到0.10.1.00.10.1.0有线协议更改，通过遵循以下建议的滚动升级，在升级期间不会停机。但是，需要注意升0.10.1.0中潜在的突发状况。注意：由于引入了新的协议，要在升级客户端之前先升级kafka集群（即，0.10.1.x仅支持0.10.1.x或更高版本的broker，但是0.10.1.x的broker向下支持旧版本的客
dagai888·2020-07-01 22:50

放弃KafKa系列（1）

1.kafka简单介绍kafka是linkedin使用Scala编写具有高水平扩展(只要增加服务器数量，就能线性扩充系统性能。)和高吞吐量(单位时间内处理的请求数量)的分布式消息系统kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,消息接收者称为Consumer,此外KafKa集群有多个KafKa实例组成，每个实例（Server）称为broker。无论是Kafka集群，
红石榴紫·2020-06-29 12:28

kafka系列-kafka调优篇-高并发高吞吐架构设计

kafka的PageCache读写不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失（这一点是有条件限制的，这个条件是，消费者的消费速度要高于或等于生产者的速度）。kafka重度依赖底层操作系统提供的PageCache功能。（文件缓存，速度相当于操作内存
boat824109722·2020-06-29 01:58

【死磕kafka】(一) 入门必知必会的术语概念

这是kafka系列的第一篇文章。预计共出20篇系列文章，全部原创，从0到1，跟你一起死磕kafka。本文盘点了Kafka的各种术语并且进行解读，术语可能比较枯燥，但真的是精髓中的精髓！
胖滚猪学编程·2020-06-28 22:48

Kafka系列（四）Kafka消费者：从Kafka中读取数据

本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。Kafka消费者相关的概念消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事情，
Zebul博·2020-06-27 04:06

kafka系列——kafka生产中消费速度慢的问题（三）

前言：kafka是个高吞吐的消息中间件，有着削峰填谷的作用。最近在生产中，发现消费速度跟不上生产速度，很是好奇，kafka不是号称高吞吐吗？难道是kafka吐的太慢了？后来查了很多资料，总算弄清了点头绪。不是kafka的锅，是自己的消费者消费能力不行导致。生产者一般不会有啥问题，因为是写进kafka，数据如果要处理的话，处理中的数据和kafka还没关系，等数据处理完要最终写入kafka了的时候，这
猛波波·2020-06-25 17:29

kafka系列-DirectStream

spark读取kafka数据流提供了两种方式createDstream和createDirectStream。两者区别如下：1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc,[zk],[consumergroupid],[per-topic,partitions])使用了receivers来接收数据，利用的是Kafka高层次的消
李孟lm·2020-06-25 00:14

Kafka系列（19）CommitFailedExCeption异常怎么处理

Consumer客户端在提交位移时出现了错误或异常，而且还是那种不可恢复的严重异常。本次提交位移失败了，原因是消费者组已经开启了Rebalance过程，并且将要提交位移的分区分配给了另一个消费者实例。出现这个情况的原因，你的消费者实例连续两次调用poll方法的时间间隔超过了期望的max.poll.interval.ms参数值。这通常表示，你的消费者实例花费了太长的时间进行消息处理，耽误了调用pol
longdada007·2020-06-25 00:52

Kafka快速入门系列(1) | Kafka的简单介绍(一文令你快速了解Kafka)

  自Flume快速入门系列结束后，博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客，本篇为大家带来的是Kafka的简单介绍。
不温卜火·2020-06-24 23:42

【kafka系列教程04】Kafka的使用场景

下面是一些关于Apachekafka流行的使用场景。这些领域的概述，可查看博客文章（https://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying）。消息kafka更好的替换传统的消息系统，消息系统被用于各
dagai888·2020-06-23 03:31

kafka系列-入门篇之常用命令

前言本文所有的操作都是在MacOS系统上使用。如果是在Linux操作系统下进行实验，使用的命令是相同的；如果是在windows操作系统下进行实验，则需要使用对应的bin/windows目录下的bat文件。Broker启动bin/kafka-server-start.sh--daemonconfig/server.properties启动kafka命令加上–daemon，那么kafka会以守护进程的
马各马它·2020-06-22 20:03

Kafka系列10：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（下）...

前言在今天文章开始之前，想和粉丝朋友们先分享一个好消息，作者坚持以原创的态度去努力写好每一篇文章，同时得到了一小部分粉丝朋友们的认可和InfoQ写作平台的支持。在此非常感谢粉丝朋友的支持，同时也非常感谢InfoQ小编的认可。接下来我会继续努力，不忘初心，用心写好每一篇文章。另外最近忙着搬家和工作的事情，导致没有多余的时间来更文，希望朋友们能够多多包涵。好了，今天我们我们来继续分析Kafka的常见面
ShiLuoHeroKing·2020-06-22 05:36

Kafka系列9：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（上）...

前言在本文开始之前，作者一直有个疑惑，就是面试题是只写写问题和答案就草草了事，还是应该深入分析一下其背后发生的一些原理。和朋友探讨以后作者还是决定采用后者的方式，因为我认为不仅要做到知其一，更要知其二，所以我们就用讲解原理的方式来看看Kafka常见的面试题吧。另外避免文章过长，我打算接下来使用几篇文章来详解每道题背后的原理。好了废话有点多，直接开干。文章概览kafka如何保证数据的可靠性和一致性？
kevin_吴敏·2020-06-21 13:40

Kafka系列三- 消息队列中点对点与发布订阅区别

Kafka系列三-消息队列中点对点与发布订阅区别我们为何需要搭建ApacheKafka分布式系统活动数据网站用户行为相关数据，例如PV、UV等。
raincoffee·2020-04-04 08:32

Kafka系列二- Kafka安装及测试

Kafka系列二-Kafka安装及测试安装brew安装安装配置文件位置/usr/local/etc/kafka|zookeeper启动zookeepercd/usr/local/Cellar/kafka
raincoffee·2020-03-28 20:21

Kafka系列之(6)——Kafka Consumer

1、Consumer工作过程Consumer工作过程.png(1)、在启动时或者协调节点故障转移时，消费者发送ConsumerMetadataRequest给bootstrapbrokers列表中的任意一个brokers。在ConsumerMetadataResponse中，它接收消费者对应的消费组所属的协调节点GroupCoordinator的位置信息。(2)、消费者连接协调节点GroupCoo
康康不遛猫·2020-03-28 16:25

Kafka系列五-文件存储机制

Kafka系列五-文件存储机制1.前言一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。
raincoffee·2020-03-12 05:02

5分钟带你体验一把 Kafka

Guide哥答应大家的Kafka系列的第2篇原创文章。为了保证内容实时更新，我将相关文章也发送到了Gihub上！
Snailclimb·2020-02-28 22:43

Kafka系列3：深入理解Kafka消费者

上面两篇聊了Kafka概况和Kafka生产者，包含了Kafka的基本概念、设计原理、设计核心以及生产者的核心原理。本篇单独聊聊Kafka的消费者，包括如下内容：消费者和消费者组如何创建消费者如何消费消息消费者配置提交和偏移量再均衡结束消费消费者和消费者组概念Kafka消费者对象订阅主题并接收Kafka的消息，然后验证消息并保存结果。Kafka消费者是消费者组的一部分。一个消费者组里的消费者订阅的是
McBye·2020-02-17 23:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他