Kafka系列

kafka系列之(3)——Coordinator与offset管理和Consumer Rebalance

1、Consumer与ConsumerGroupconsumergroup是kafka提供的可扩展且具有容错性的消费者机制。组内可以有多个消费者或消费者实例(consumerinstance)，它们共享一个公共的ID，即groupID。组内的所有消费者协调在一起来消费订阅主题(subscribedtopics)的所有分区(partition)。consumergroup下可以有一个或多个consu
时之结绳·2017-05-11 23:16

Kafka系列4-基本概念及消费者组（Consumer Group）的理解

几个基本概念：Kafka是一个分布式流数据系统，使用Zookeeper进行集群的管理。与其他消息系统类似，整个系统由生产者、BrokerServer和消费者三部分组成，生产者和消费者由开发人员编写，通过API连接到BrokerServer进行数据操作。我们重点关注三个概念：Topic，是Kafka下消息的类别，类似于RabbitMQ中的Exchange的概念。这是逻辑上的概念，用来区分、隔离不同的
kuluzs·2017-05-04 16:22

Kafka系列3-python版本producer生产者和consumer消费者实例

直接上代码了：#-*-coding:utf-8-*-'''使用kafka-Python1.3.3模块'''importsysimporttimeimportjsonfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafka.errorsimportKafkaErrorKAFAKA_HOST="127.0.0.1"KAFAKA_
kuluzs·2017-05-04 15:57

Kafka系列之1—Kafka的总体认识

Kafka的总体认识1.非中心的架构模型2.基于TCP的一套Kafka通信协议3.消息中间件&存储系统4.存储逻辑层的高并发保证5.isr机制降低了保证分布式一致性的代价1.非中心的架构模型我们知道，在分布式系统的架构类型里，既有主从式的架构，也有非中心式的架构，像hadoop和hbase都采用了主从式的架构模型，主从式的架构优点有很多，但是主从式下为了避免单点故障而采取的各种策略使得主从式架构的
MessagePanda·2016-12-17 20:56

kafka系列（六）---kafka安装配置与简单测试

摘要前边转发的五篇文章,作者对kafka的设计作了很多介绍，文章写的时间也比较早，现在kafka最新稳定版本已经是0.10.1.0。设计思路没有改变，只是对前文中提到的改进的方面已做了改进。本文主要内容是kafka启动配置，以及一些简单的测试。大部分内容来自kafka0.10.1.0的官方文档快速启动下载解压大家可点击下边链接下载最新稳定版0.10.1.0https://www.apache.or
alphags·2016-11-13 15:32

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffsetMonitor。最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar，上传到某服务器上，
weixin_30265103·2016-08-30 22:00

Kafka系列之-自定义Producer

前面已经讲到了，在Kafka中，Message是由Producer产生的，Producer产生的Message会发送到Topic的指定Partition中。Producer可以有多种形式，也可以由用户通过Java，C以及Python语言来自定义。Kafka中Producer的主要作用和地位如下图所示，Producer通过获取某个Topic指定Partition的Leader节点连接到Kafka集群
dabokele·2016-08-15 23:00

kafka好文章

info的一个kafka系列：Kafka剖析（一）：Kafka背景及架构介绍Kafka设计解析（二）：KafkaHighAvailability（上）Kafka设计解析（三）：KafkaHighAvailability
carlosfu·2016-07-15 22:00

kafka好文章

阅读更多info的一个kafka系列：Kafka剖析（一）：Kafka背景及架构介绍Kafka设计解析（二）：KafkaHighAvailability（上）Kafka设计解析（三）：KafkaHighAvailability
carlosfu·2016-07-15 22:00

Kafka系列2-producer和consumer报错

1.使用127.0.0.1启动生产和消费进程：1）启动生产者进程：bin/kafka-console-producer.sh--broker-list127.0.0.1:9092--topictest输入消息：thisismsg生产者进程报错：[2016-06-0311:33:47,934]WARNBootstrapbroker127.0.0.1:9092disconnected(org.apac
kuluzs·2016-06-03 11:00

kafka系列4-什么是kafka

关于什么是kafka，看过一个简单例子。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那要不了一会，消费者就吃不消了（消息堵塞，最终导致系统超时），消费者拒绝再
lb7758zx·2016-05-31 09:00

kafka系列3-分布式消息系统

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
lb7758zx·2016-05-31 09:00

apache kafka系列之-监控指标

原文地址：http://blog.csdn.net/lizhitao/article/details/245819071、监控目标 1.当系统可能或处于亚健康状态时及时提醒，预防故障发生 2.报警提示a.短信方式b.邮件2、监控内容2.1机器监控Kafka服务器指标CPULoadDiskIOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2JVM监控主要监控JAVA的GCt
白乔·2016-01-09 10:00

apache kafka系列之-监控指标

原文地址：http://blog.csdn.net/lizhitao/article/details/245819071、监控目标 1.当系统可能或处于亚健康状态时及时提醒，预防故障发生 2.报警提示a.短信方式b.邮件2、监控内容2.1机器监控Kafka服务器指标CPULoadDiskIOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2JVM监控主要监控JAVA的GCt
bluejoe2000·2016-01-09 10:00

kafka系列教程5（客户端实践）

Rec:FuRenjie添加依赖可以使用服务器端下载的kafka二进制包及依赖，也可以通过mavne获取(注意实测发现该方式拿到的包是用jdk7打的)：com.sksamuel.kafkakafka_2.100.8.0-beta1生产者下面是开发生产者代码的例子：Properties props = new Properties();//指定kafka节点：注意这里无需指定集群中所有Boker，只
大数据部·2015-12-26 16:42

Kafka系列(二)特性和常用命令

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和c
·2015-11-11 09:15

Kafka系列(一)安装和配置说明

单机模式 修改kafak安装文件中 .../kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0   [默认不用修改,该值在集群中需要唯一] 2、log.dirs=/opt/hadoop/kafka/kafka-logs  [kafka数据的存放地址，多个地址的话用逗号分割] 3、zoo
·2015-11-11 09:14

apache kafka系列之在zookeeper中存储结构

目录[-]2.partition状态信息3.Broker注册信息4.Controllerepoch: 5.Controller注册信息:6.Consumer注册信息:7.Consumerowner:8.Consumeroffset:1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{  "version":"版本
xuguokun1986·2015-10-29 10:00

分布式消息队列kafka系列介绍 — 核心API介绍及实例

原文地址：http://www.inter12.org/archives/834一PRODUCER的API1.Producer的创建，依赖于ProducerConfigpublicProducer(ProducerConfigconfig);2.单个或是批量的消息发送publicvoidsend(KeyedMessagemessage);publicvoidsend(List>messages);
XIAO的博客·2015-07-21 10:00

apache kafka系列之server.properties配置文件参数说明

每个kafkabroker中配置文件server.properties默认必须配置的属性如下：[java]viewplaincopybroker.id=0  num.network.threads=2  num.io.threads=8  socket.send.buffer.bytes=1048576  socket.receive.buffer.bytes=1048576  socket.re
jinhong_lu·2015-06-16 15:00

apache kafka系列之在zookeeper中存储结构

apachekafka系列之在zookeeper中存储结构http://my.oschina.net/u/1419751/blog/3600601.topic注册信息/brokers/topics/[topic
strawbingo·2015-05-04 18:00

kafka系列文章索引

apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网 http://kafka.apache.org/ 在官网最值得参考的文章就是kafkadesign：http
allantaylor81·2015-04-30 16:00

kafka系列文章索引

kafka系列文章索引http://my.oschina.net/ielts0909/blog/117489apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引
strawbingo·2015-04-29 14:00

apache kafka系列之性能测试报告(虚拟机版)

测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip和Snappy的传输速度MB/S是通过压缩前数据计算的，压缩后的实际传输量并没有超过百兆网卡上
allantaylor81·2015-04-01 17:00

apache kafka系列之在zookeeper中存储结构

apachekafka中国社区QQ群:1622725571.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{  "version":"版本编号目前固定为数字1",  "partitions":{    "partitionId编号":[      同步副本组brokerId列表    ],    "partiti
allantaylor81·2015-04-01 14:00

apache kafka系列之源码分析走读-SocketServer分析

SocketServer网络架构流程请阅读-server端网络架构分析本文对Kafka最新版0.8.2.1中SocketServer源码进行分析，比起0.8.x版本，该版本增加了新特性，客户端请求ip连接数限制，Processor空闲时间统计，空闲连接资源回收等，设置此这些参数有效保证进程资源不会被连接数耗尽。SocketServer设计思路KafkaSocketServer是基于JavaNIO来
lizhitao·2015-03-28 10:00

apache kafka系列之源码分析走读-kafkaApi详解

Kafka源码中数据交互流程图11.概述kafka启动时做很多初始化运行环境工作，具体请参考：apachekafka系列之源码分析走读-kafka内部模块分析其中SockeServer类启动时，首先初始化
lizhitao·2015-02-28 17:00

kafka系列文章索引（结束）

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对 kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。 首先当然推荐的是kafka的官网 http://kafka.apache.org/  在官网最值得参考的文章就是
·2015-01-08 14:00

apache kafka系列之在zookeeper中存储结构

1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{  "version":"版本编号目前固定为数字1",  "partitions":{    "partitionId编号":[      同步副本组brokerId列表    ],    "partitionId编号":[      同步副本组brokerId
岩之有理·2014-12-24 15:00

apache kafka系列之ZookeeperConsumer实现

kafka的ZookeeperConsumer数据获取的步骤如下：入口ZookeeperConsumerConnectordefconsume[T](topicCountMap:scala.collection.Map[String,Int],decoder:Decoder[T]):Map[String,List[KafkaStream[T]]]方法客户端启动后会在消费者注册目录上添加子节点变化的
lizhitao·2014-10-31 11:00

apache kafka系列之文件系统设计那些

apachekafka中国社区QQ群:1622725571.文件系统说明文件系统一般分为系统和用户2种类型，系统级文件系统:ext3,ext4,dfs,ntfs等等,，笔者并不会向大家介绍那种纷繁复杂的分布式或系统级文件系统，而是从kafka架构高性能角度考虑，深入剖析kafka文件系统存储结构设计。2.kafka简要介绍2.2kafka文件系统存储结构                      
lizhitao·2014-10-28 18:00

apache kafka系列之源码分析走读-server端网络架构分析

笔者今天分析一下kafka网络架构，俗话说人无好的胫骨，就没有好的身体，建筑没有扎实可靠的结构框架，就不会屹立不倒。同样的服务端程序没有好的网络架构，其性能就会受到极大影响，其他方面再怎么优化，也会受限于此，那kafka网络架构是怎样的呢，它不是用的现今流行的netty，mina的高性能网络架构，而是自己基于javanio开发的。kafka网络架构图如下：Kafka是典型SEDA(多阶段事务驱动模
lizhitao·2014-08-08 18:00

apache kafka系列之性能优化架构分析

apachekafka中国社区QQ群:162272557Apachekafka性能优化架构分析应用程序优化：数据压缩consumeroffset默认情况下是定时批量更新topics的partitionsoffset值
lizhitao·2014-08-08 15:00

apache kafka系列之源码分析走读-kafka内部模块分析

apachekafka中国社区QQ群:162272557kafka整体结构分析：kafka源代码工程目录结构如下图：下面只对core目录结构作说明，其他都是测试类或java客户端代码admin  --管理员模块，操作和管理topic，paritions相关，包含create,deletetopic,扩展patitionsApi    --该模块主要负责交互数据的组装，客户端与服务端交互数据编解码c
lizhitao·2014-08-03 20:00

apache kafka系列之broker内部架构

下面介绍kafkabroker的主要子模块，帮助您更好地学习并理解kafka源代码和架构。如下介绍几个子模块：KafkaAPIlayerLogManagerandLogReplicaManagerZookeeperConsumerConnectorservice Schedule如下是系统几个模块如何组成到一起架构图：启动过程zkClient初始化=>logManager start()=>soc
lizhitao·2014-08-03 14:00

apache kafka系列之客户端开发-java

apachekafka中国社区QQ群:1622725571.依赖包          org.apache.kafka      kafka_2.10      0.8.1    2.producer程序开发例子2.1producer参数说明#指定kafka节点列表，用于获取metadata，不必全部指定metadata.broker.list=192.168.2.105:9092,192.168
lizhitao·2014-07-15 14:00

apache kafka系列之源码构建打包

apachekafka源码构建打包准备工作：安装gradle1.构建kafka的jar并运行打包kafka-0.8.1.1下所有jar，包括core,perf,clients等。lizhitao@users-MacBook-Pro:~/mt_wp/tmp/kafka-0.8.1.1-src$gradlejar2.构建源代码jarlizhitao@users-MacBook-Pro:~/mt_wp/
lizhitao·2014-07-08 17:00

apache kafka系列之jmx监控指标参数

apachekafka中国社区QQ群:162272557Kafka使用YammerMetrics来监控server和client指标数据。JMX监控指标参数列表如下:参数Mbean名称说明所有topic的写入消息速率(消息数/秒)"kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"所有topic消息(进出
lizhitao·2014-06-30 10:00

apache kafka系列之迁移与扩容工具用法

apachekafka中国社区QQ群:162272557 kafka迁移与扩容工具使用参考官网site:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool说明:当我们对kafka集群扩容时，需要满足2点要求:将指定topic迁移到集
lizhitao·2014-06-28 23:00

apache kafka系列之性能测试报告(虚拟机版)

apachekafka中国社区QQ群:162272557测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip和Snappy的传输速度MB/S是通过
lizhitao·2014-06-22 21:00

apache kafka系列之Controller设计机制和状态变化

apachekafka中国社区QQ群:162272557在kafka集群中，其中一个brokerserver作为中央控制器，负责管理分区和副本状态并执行管理着这些分区的重新分配。下面说明如何通过中央控制器操作分区和副本的状态。名词解释：isr：同步副本组OfflinePartitionLeaderSelector:分区下线后新的领导者选举OAR：老的分配副本PartitionStateChange
lizhitao·2014-06-02 15:00

apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

apachekafka中国社区QQ群:162272557kafka.common.ConsumerRebalanceFailedException:log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63can'trebalanceafter3retriesatkafka.consume
lizhitao·2014-05-27 12:00

apache kafka系列之Producer处理逻辑

apachekafka中国社区QQ群:162272557转载自同事(董重)写得一篇wiki博客KafkaProducer处理逻辑KafkaProducer产生数据发送给KafkaServer，具体的分发逻辑及负载均衡逻辑，全部由producer维护。Kafka结构图KafkaProducer默认调用逻辑默认Partition逻辑1、没有key时的分发逻辑每隔 topic.metadata.refr
lizhitao·2014-05-23 11:00

apache kafka系列之server.properties配置文件参数说明

apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下：broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.req
幽灵之使·2014-05-13 03:37

apache kafka系列之server.properties配置文件参数说明

apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下：broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socke
lizhitao·2014-05-13 03:00

apache kafka系列之安装与使用

apachekafka中国社区QQ群:162272557kafak安装与使用1.前言学习kafka的基础是先把kafka系统部署起来，然后简单的使用它，从直观上感觉它，然后逐步的深入了解它。本文介绍了kafka部署方法，包括配置，安装和简单的使用。2.kafka下载和安装kafka版本一直在更新，且每次更新，变化均比较大，如配置文件有改动，kafka0.7到0.8.1版本变化很大，包括加入，支持集
lizhitao·2014-05-13 02:00

apache kafka系列之-监控指标

apachekafka中国社区QQ群:1622725571、监控目标  1.当系统可能或处于亚健康状态时及时提醒，预防故障发生   2.报警提示a.短信方式b.邮件2、监控内容2.1机器监控Kafka服务器指标CPULoadDiskIOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2JVM监控主要监控JAVA的GCtime(垃圾回收时间)，JAVA的垃圾回收机制对性能的影
lizhitao·2014-04-27 12:00

apache kafka系列之replication设计机制

apachekafka中国社区QQ群:162272557概览:其中一个broker被选举作为整个集群控制器，他将负责几个方面工作：1.管理或领导分区变化.2.createtopic,deletetopic3.replicas(执行复制计划，复制partition)集群控制器做出决定以后，操作信息或状态将永久注册并存储在zookeeper上，并且也可以通过RPC方式发送新的决定操作broker。控制
lizhitao·2014-04-25 18:00

apache kafka系列之log4j配置

apachekafka中国社区QQ群:162272557kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中:kafka.logs.dir=logs log4j.rootLogger=INFO,stdout log4j.appender.stdout=org.
lizhitao·2014-04-25 18:00

apache kafka系列之在zookeeper中存储结构

1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{"version":"版本编号目前固定为数字1","partitions":{"partitionId编号":[同步副本组brokerId列表],"partitionId编号":[同步副本组brokerId列表],.......}}Example:{"versi
幽灵之使·2014-04-15 10:13
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他