kafka系列

Kafka系列 - 深入探究-生产者与消费者

1.背景主要对Kafka生产者和消费者进行深入研究，具体的内容如下：生产者（1.代码实例。2.整体流程。3.重要参数。）消费者（1.代码实例。2.消费者组。3.分区分配策略。4.重平衡流程。）备注：文章中内部分图片来源自极客时间《Kafka核心技术与实战》专栏。2.生产者2.1代码实例publicvoidsend(){Propertiesprops=newProperties();props.pu
阿健2020·2022-08-25 11:02

消息中间件

ActiveMQ系列RabbitMQ系列Kafka系列：Kafka--生产者客户端发送消息的大致流程Kafka--元数据的拉取时机Kafka--元数据的拉取流程kafka--分区是怎么指定的Kafka-
·2022-05-10 11:19

kafka系列七、kafka核心配置

一、producer核心配置1、acks：发送应答（默认值：1）生产者在考虑完成请求之前要求leader收到的确认的数量。这控制了发送的记录的持久性。允许以下设置:acks=0：设置为0，则生产者将完全不等待来自服务器的任何确认。记录将立即添加到socket缓冲区，并被认为已发送。在这种情况下，不能保证服务器已经收到记录，重试配置将不会生效(因为客户机通常不会知道任何失败)。每个记录返回的偏移量总
weixin_30530523·2022-04-15 10:19

hive从入门到放弃(一)——初识hive

没看过Kafka系列的朋友可以点此传送阅读：《Kafka从入门到放弃》系列hive介绍hive是一个开源的用于大数据分析和统计的数据库工具，它的存储基于HDFS，计算基于MapReduce或Spark，
Max_Lyu·2022-03-12 23:00

Kafka系列第4篇：消息发送背后网络操作的那点事儿

前言上篇文章讲述了消息从生产到写入到Broker的partition上背后发生的故事，并提出了消息发送的网络模型的问题。本篇文章我们来尝试揭开其背后的神秘面纱，耐心看完你一定会有所收获。文章概览1.Sender线程的建连准备阶段和发送网络请求两阶段。2.Selector选择器处理网络请求过程。Sender线程的两阶段上篇文章结尾提到了三个重要的方法，分别是ready()、send()、poll()
z小赵·2022-02-17 09:21

kafka系列教程

kafka这家伙比较依赖zookeeper，安装zookeeper的教程看上篇文章下载地址:http://kafka.apache.org/downloads.html解压：tar-zxvfxx.tar.gz修改kafka启动参数中JVM内存大小：查看kafka-server-start.sh脚本，修改KAFKA_HEAP_OPTS处-Xmx和-Xms的值先启动zookeeper：bin/zook
薛云龙·2021-06-22 23:18

通过一个Kafka故障解决过程阐述架构师必须具备的架构思维

本文是Kafka系列第4篇，从问题出发，从而探讨集群分区迁移实战、底层原理以及运维时需要考虑的问题。
中间件兴趣圈·2021-05-20 22:12

Kafka系列之(2)——Kafka controller和消息分片&Leader election

由图中可以看出，broker1和broker2都有topicA的partition0和partition1分区，其中broker1-topicA-partition1是leader，broker2-topicA-partition1是follower。这个在zk的存储结构也有体现。kafka采取这种模式，可以实现负载均衡和可用性。1、分片数量和副本数量在创建topic的时候设置，如：bin/kaf
康康不遛猫·2021-05-10 22:49

kafka 架构设计简介(一)

最近开始深入学习kafka，然后打算写一个kafka系列文章，这是第一篇。虽然目前网上关于kafka的文章有很多，很多都写的很详细，但是还是想自己整理一遍。
疯狂的哈丘·2021-04-25 23:20

Kafka系列1：Kafka概况

Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容：Kafka简介Kafka特点Kafka基本概念Kafka架构Kafka的几个核心概念分区Partition复制Replication消息发送消费者组消费偏移量Kafka的工程应用Kafka简介Kafka特点Kafka
Dali王·2021-04-20 10:08

Kafka原理篇：图解kakfa架构原理

点击上方“服务端思维”，选择“设为星标”回复”669“获取独家整理的精选资料集回复”加群“加入全国服务端高端社群「后端圈」作者|MageByte技术团队出品|码哥字节这是[码哥]Kafka系列文章的第二篇
LiangGzone·2021-04-16 09:00

Kafka 性能篇：为何 Kafka 这么快？

65哥深受启发，在学习Kafka的过程中，发现Kafka也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲Kafka性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为Kafka系列的开篇之作。
·2021-03-24 19:16

Kafka 性能篇：为何 Kafka 这么快？

65哥深受启发，在学习Kafka的过程中，发现Kafka也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲Kafka性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为Kafka系列的开篇之作。
·2021-03-24 15:47

【Kafka】2.纯原创，一张图洞悉Kafka集群

写在前面本文为Kafka系列文章第二篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:11

【Kafka】3.纯原创，消息的发送/存储/消费流程综述

写在前面本文为Kafka系列文章第三篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:07

【Kafka】4.高可用及Failover流程

写在前面本文为Kafka系列文章第四篇，全文可见：【Kafka】1.特性与零拷贝【Kafka】2.纯原创，一张图洞悉Kafka集群【Kafka】3.纯原创，消息的发送/存储/消费流程综述【Kafka】4
千杉沐雪·2021-01-26 17:21

关于老梁

当前主要在后端中间件方向，在公众号【瓜农老梁】已陆续发表RocketMQ系列、Kafka系列、gRPC系列、Sentinel系列、JavaNIO系列。目前就职于某出行公司，任
瓜农老梁·2020-12-30 07:00

apache kafka系列之broker内部架构

下面介绍kafkabroker的主要子模块，帮助您更好地学习并理解kafka源代码和架构。如下介绍几个子模块：KafkaAPIlayerLogManagerandLogReplicaManagerZookeeperConsumerConnectorserviceSchedule如下是系统几个模块如何组成到一起架构图：启动过程zkClient初始化=>logManagerstart()=>socke
幽灵之使·2020-09-17 02:12

kafka系列之broker重点配置解析（三）

kafkabroker配置对应kafka安装目录config/server.properties文件的配置broker.id每一个Kafka的broker都有一个整数的标识。我们设置broker.id来标识它。默认这个整数是0。这个整数必须是在一个集群中是唯一的，且必须>=0。推荐该值能对应上broker所在的主机名。port该值是监听TCP的端口。默认是配置9092。可以设置可用的任意端口，不过
_一直很安静·2020-09-17 02:07

kafka系列笔记（一）--kafka入门

一.Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
third_·2020-09-15 23:54

kafka系列：kafka基本架构

1、拓扑结构图2、kafka中相关组件的解释（1）producer：消息生产者，发布消息到kafka集群的终端或服务。（2）broker：kafka集群中包含的服务器。（3）topic：每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。（4）partition：partition是物理上的概念，每个topic包含一个或多个partition。kafka分配的单位是parti
大数据技术之路---花火·2020-09-15 14:12

Kafka系列（21）java消费者是如何管理Tcp连接的

Kafka的世界中，无论是ServerSocket,还是SocketChannel,它们实现的都是TCP协议。Kafka的网络传输是基于Tcp协议的，而不是基于UDP协议。何时创建Tcp连接？消费者端主要的程序入口是KafkaConsumer类。和生产者不同的是，构建KafkaConsumer实例时是不会创建任何Tcp连接的，也就是说，当你执行完newKafkaConsumer语句时，你会发现，没
longdada007·2020-09-15 14:21

Kafka系列文章之Kafka是什么-第1篇

前言如果有幸目睹过系统从零到一的演变过程，大家估计都会有一种感叹，就是随着业务复杂度和流量的不断上升，系统变得越来越难以维护，面对高额的维护成本，攻城师们不得不对现有架构进行改造升级，以便使得系统更适合当下业务的发展。说到架构改造升级，那到底该怎么改造呢？从哪里入手比较合适呢？这是一个比较大的话题，一两句话没办法讲述清楚，但是有一个出发点肯定是没有错的，就是为了更好的适应业务的发展需要进行必要的改
ShiLuoHeroKing·2020-09-15 13:07

kafka系列文章索引（结束）

apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网http://kafka.apache.org/在官网最值得参考的文章就是kafkadesign：http:/
weixin_34417814·2020-09-15 13:31

kafka系列文章索引

kafka系列文章索引http://my.oschina.net/ielts0909/blog/117489apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引
strawbingo·2020-09-15 13:10

Kafka系列详解-基础概念与核心设计（持续更新完善中）

核心概念topic:对消息（message）归类;例如，在网页活动跟踪中，每个活动种类（包括网页浏览、搜索、点击等）的消息都可以发布到一个各自的topic中Topic和Producer发布给一个topic的消息可以在Kafka集群中分割成多个partition每个parititon都是一个loglog中的消息按发布的顺序排成一个消息列（messagesequence）Kafka不断地向log的末尾
斜月明寒草·2020-09-14 23:30

kafka系列详解-性能与存储篇（持续更新完善中）

存储在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1在一个可配置的时间段内，Kafka集群保留所有发布的消息，不管这些消息有没有被消费。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是
斜月明寒草·2020-09-14 23:30

快速入门Kafka系列(8)——Kafka监控及运维

作为快速入门Kafka系列的第八篇博客，本篇为大家带来的是kafka监控及运维~码字不易,先赞后看!
Alice菌·2020-09-14 16:46

apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

kafka.common.ConsumerRebalanceFailedException:log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63can'trebalanceafter3retriesatkafka.consumer.ZookeeperConsumerConnector
幽灵之使·2020-09-14 14:10

快速入门Kafka系列(6)——Kafka的JavaAPI操作

作为快速入门Kafka系列的第六篇博客，本篇为大家带来的是Kafka的JavaAPI操作~码字不易,先赞后看!
Alice菌·2020-09-14 12:51

Kafka系列第三篇！10 分钟学会如何在 Spring Boot 程序中使用 Kafka 作为消息队列?

相关阅读：入门篇！大白话带你认识Kafka！5分钟带你体验一把KafkaStep1:创建项目直接通过Spring官方提供的SpringInitializr创建或者直接使用IDEA创建皆可。Step2:配置Kafka通过application.yml配置文件配置Kafka基本信息server:port:9090spring:kafka:consumer:bootstrap-servers:local
spring_root·2020-09-13 15:59

Kafka系列之-Kafka Protocol实例分析

本文基于AGuideToTheKafkaProtocol文档，以及SparkStreaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关MetadataAPIProduceAPIFetchAPIOffsetAPI(AkaListOffset)OffsetCommit/FetchAPIGroupMembershipAP
weixin_30763455·2020-09-11 20:37

Kafka系列9：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（上）

前言在本文开始之前，作者一直有个疑惑，就是面试题是只写写问题和答案就草草了事，还是应该深入分析一下其背后发生的一些原理。和朋友探讨以后作者还是决定采用后者的方式，因为我认为不仅要做到知其一，更要知其二，所以我们就用讲解原理的方式来看看Kafka常见的面试题吧。另外避免文章过长，我打算接下来使用几篇文章来详解每道题背后的原理。好了废话有点多，直接开干。文章概览kafka如何保证数据的可靠性和一致性？
assasinSteven·2020-09-11 00:19

Kafka系列10：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（下）

前言在今天文章开始之前，想和粉丝朋友们先分享一个好消息，作者坚持以原创的态度去努力写好每一篇文章，同时得到了一小部分粉丝朋友们的认可和InfoQ写作平台的支持。在此非常感谢粉丝朋友的支持，同时也非常感谢InfoQ小编的认可。接下来我会继续努力，不忘初心，用心写好每一篇文章。另外最近忙着搬家和工作的事情，导致没有多余的时间来更文，希望朋友们能够多多包涵。好了，今天我们我们来继续分析Kafka的常见面
assasinSteven·2020-09-11 00:19

Kafka系列4----LogSegment分析

LogSegment代表了一个Segment文件，其中有3个字段，分别代表.log，.index，.timeIndex文件，即log，index和timeIndex核心字段log：对应.log文件，FileRecords类型，内含有一个FileChannel对象，主要用来操作文件index：对应.index文件，OffsetIndex类型，对索引文件的操作进行了一些封装timeIndex：对应.t
六道木_·2020-08-25 08:20

Apache Kafka系列(三) Java API使用

ApacheKafka系列(一)起步ApacheKafka系列(二)命令行工具（CLI）ApacheKafka系列(三)JavaAPI使用ApacheKafka系列(四)多线程Consumer方案ApacheKafka
weixin_30629977·2020-08-23 07:46

apache kafka系列之源码分析走读-kafka内部模块分析

apachekafka中国社区QQ群:162272557kafka整体结构分析：kafka源代码工程目录结构如下图：下面只对core目录结构作说明，其他都是测试类或java客户端代码admin--管理员模块，操作和管理topic，paritions相关，包含create,deletetopic,扩展patitionsApi--该模块主要负责交互数据的组装，客户端与服务端交互数据编解码client-
幽灵之使·2020-08-23 06:26

apache kafka系列之源码分析走读-kafkaApi详解

Kafka源码中数据交互流程图11.概述kafka启动时做很多初始化运行环境工作，具体请参考：apachekafka系列之源码分析走读-kafka内部模块分析其中SockeServer类启动时，首先初始化
yjh314·2020-08-23 04:14

Kafka系列1----Consumer Rebalance过程

1.Coordinator介绍Coordinator简单的总结一下就是负责协调组内partition分配，以及Group的管理，每个Broker上都有一个GroupCoordinator的实例负载均衡的过程涉及以下的几个概念-groupmember：一个消费组类的成员-groupleader：一个消费组的leader，负责分配partition-coodinator：协调者涉及以下几个请求：-Gr
六道木_·2020-08-23 03:59

kafka测试

image.png测试使用的消息为\n====================================\n"+"[{\"item_id\":\"7341954\",\"title\":\"ApacheKafka
cpongo4'"\?;@·2020-08-23 01:46

大数据与Kafka系列之kafka生产者各种启动参数说明

首先是启动一个生产者，finalStringkafkazk="localhost:9092";Stringtopic="testAPI";Propertiesproperties=newProperties(){{put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,kafkazk);put(ProducerConfig.ACKS_CONFIG,"all");pu
有梦想的人不睡觉121·2020-08-23 00:01

springboot 集成kafka系列 一、安装kafka

环境介绍操作系统win10、jdk1.8、1.安装并启动zookeeper1.1官网https://zookeeper.apache.org/releases.html#download下载zookeeper-3.4.6,下载后解压到本地;1.2进入zookeeper/conf，把zoo_sample.cfg重命名成zoo.cfg；1.3进入zookeeper目录，双击zkServer.cmd（如
yfz792178428·2020-08-22 15:44

kafka系列之camel-kafka

概述首先关于camel的基本概念和用法，以及kafka的基本概念和用法，这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。camel本身是一个路由引擎，通过camel你可以定义路由规则，指定从哪里（源）接收消息，如何处理这些消息，以及发往哪里（目标）。camel-kafka就是camel的其中一个组件，它从指定的kafkatopic获取消息来源进行处理。有些小伙伴可能有疑问了，kafka本身不就
犀牛饲养员·2020-08-20 23:20

kafka系列之camel-kafka

概述首先关于camel的基本概念和用法，以及kafka的基本概念和用法，这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。camel本身是一个路由引擎，通过camel你可以定义路由规则，指定从哪里（源）接收消息，如何处理这些消息，以及发往哪里（目标）。camel-kafka就是camel的其中一个组件，它从指定的kafkatopic获取消息来源进行处理。有些小伙伴可能有疑问了，kafka本身不就
犀牛饲养员·2020-08-20 23:19

【弄nèng - Kafka】应用篇（十一） —— Java Kafka API（多线程生产者）

文章目录一.简介二.实现2.1引入依赖2.2多线程生产者源码地址项目推荐该篇博客是KafkaAPI的使用，多线程生产者更多高级用法请看我的博客Kafka系列参考：https://www.orchome.com
司马缸砸缸了·2020-08-18 12:19

kafka系列之序列化和反序列化

文章目录简介基本原理分析自定义序列化组件测试简介kafka内部发送和接收消息的时候，使用的是byte[]字节数组的方式(RPC底层也是用这种通讯格式)。但是我们在应用层其实可以使用更多的数据类型，比如int，short，long，String等，这归功于kafka的序列化和反序列化机制。基本原理分析在之前的一篇文章springboot集成kafka示例中，我使用的是kafka原生的StringSe
犀牛饲养员·2020-08-18 11:21

Kafka系列之broker-list,bootstrap-server以及zookeeper

文章目录broker-listbootstrap-serversvszookeeper我刚学kafka的时候，对这几个概念有时候会混淆，尤其是配置的时候经常搞不清楚它们的区别。这篇文章打算做一个梳理。broker-listbroker指的是kafka的服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。broker-list指定集群中的一个或者多
犀牛饲养员·2020-08-18 11:21

kafka系列之（一） ---------- kafka 运维操作

目录1、Kafka的topic操作脚本2、Kafka的消费者客户端脚本3、Kafka的生产者客户端脚本4、查看LAG5、connect-distributed.sh6、connect-standalone.sh7、kafka-acls.sh8、kafka-broker-api-version.sh9、kafka-configs.sh10、kafka-consumer-perf-test.sh11、
oural·2020-08-18 11:48

Kafka系列:查看Topic列表、消息消费情况

grep-Ev'^$|^#'config/server.propertiesKafka系列:查看ZKZookeeper地址查看所有topic/app/kafka/kafka_2.12-2.1.0/bin
NIO4444·2020-08-18 10:35

kafka系列之原理简介

文章目录ProducerBrokerConsumerZookeeperKafka优点单机版安装教程3、安装JDK##kafka原理简介Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。消息的发布描述为producer，消息的
smileNicky·2020-08-18 03:53
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他