E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
kafka系列
apache
kafka系列
之性能测试报告(虚拟机版)
apachekafka中国社区QQ群:162272557测试方法在其他虚拟机上使用Kafka自带 kafka-producer-perf-test.sh脚本进行测试Kafka写入性能尝试使用 kafka-simple-consumer-perf-test.sh脚本测试KafkaConsumer性能,但由于获取到的数据不靠谱,放弃这个测试方法性能数据注:Gzip和Snappy的传输速度MB/S是通过
lizhitao
·
2014-06-22 21:00
apache
kafka系列
Kafka性能测试
apache
kafka系列
之Controller设计机制和状态变化
apachekafka中国社区QQ群:162272557在kafka集群中,其中一个brokerserver作为中央控制器,负责管理分区和副本状态并执行管理着这些分区的重新分配。下面说明如何通过中央控制器操作分区和副本的状态。名词解释:isr:同步副本组OfflinePartitionLeaderSelector:分区下线后新的领导者选举OAR:老的分配副本PartitionStateChange
lizhitao
·
2014-06-02 15:00
apache
kafka
kafka
kafka
Controller设计机制
Controller实现原理
Controller实现
kafka系列
apache
kafka系列
之kafka.common.ConsumerRebalanceFailedException异常解决办法
apachekafka中国社区QQ群:162272557kafka.common.ConsumerRebalanceFailedException:log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63can'trebalanceafter3retriesatkafka.consume
lizhitao
·
2014-05-27 12:00
apache
apache
kafka
kafka系列
apache
kafka系列
之Producer处理逻辑
apachekafka中国社区QQ群:162272557转载自同事(董重)写得一篇wiki博客KafkaProducer处理逻辑KafkaProducer产生数据发送给KafkaServer,具体的分发逻辑及负载均衡逻辑,全部由producer维护。Kafka结构图KafkaProducer默认调用逻辑默认Partition逻辑1、没有key时的分发逻辑每隔 topic.metadata.refr
lizhitao
·
2014-05-23 11:00
apache
kafka
kafka
producer
kafka生产者处理逻辑
Producer处理逻辑
kafka系列
apache
kafka系列
之server.properties配置文件参数说明
apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下:broker.id=0num.network.threads=2num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.req
幽灵之使
·
2014-05-13 03:37
apache
kafka
apache
kafka系列
之server.properties配置文件参数说明
apachekafka中国社区QQ群:162272557每个kafkabroker中配置文件server.properties默认必须配置的属性如下:broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socke
lizhitao
·
2014-05-13 03:00
apache
apache
kafka
Server.
kafka系列
apache
kafka系列
之安装与使用
apachekafka中国社区QQ群:162272557kafak安装与使用1.前言学习kafka的基础是先把kafka系统部署起来,然后简单的使用它,从直观上感觉它,然后逐步的深入了解它。本文介绍了kafka部署方法,包括配置,安装和简单的使用。2.kafka下载和安装kafka版本一直在更新,且每次更新,变化均比较大,如配置文件有改动,kafka0.7到0.8.1版本变化很大,包括加入,支持集
lizhitao
·
2014-05-13 02:00
apache
apache
kafka安装
kafka安装
kafka系列
apache
kafka系列
之-监控指标
apachekafka中国社区QQ群:1622725571、监控目标 1.当系统可能或处于亚健康状态时及时提醒,预防故障发生 2.报警提示a.短信方式b.邮件2、监控内容2.1机器监控Kafka服务器指标CPULoadDiskIOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2JVM监控主要监控JAVA的GCtime(垃圾回收时间),JAVA的垃圾回收机制对性能的影
lizhitao
·
2014-04-27 12:00
apache
apache
apache
kafka日志
kafka报警监控
kafk监控
kafka系列
kafka监控
apache
kafka系列
之replication设计机制
apachekafka中国社区QQ群:162272557概览:其中一个broker被选举作为整个集群控制器,他将负责几个方面工作:1.管理或领导分区变化.2.createtopic,deletetopic3.replicas(执行复制计划,复制partition)集群控制器做出决定以后,操作信息或状态将永久注册并存储在zookeeper上,并且也可以通过RPC方式发送新的决定操作broker。控制
lizhitao
·
2014-04-25 18:00
apache
kafka
kafka
Replication
replication设计机
kafka复制机制
kafka系列
apache
kafka系列
之log4j配置
apachekafka中国社区QQ群:162272557kafka日志文件分为5种类型,依次为:controller,kafka-request,server,state-change,log-cleaner,不同类型log数据,写到不同文件中:kafka.logs.dir=logs log4j.rootLogger=INFO,stdout log4j.appender.stdout=org.
lizhitao
·
2014-04-25 18:00
apache
apache
kafka
Log4j配置
kafka系列
apache
kafka系列
之在zookeeper中存储结构
1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{"version":"版本编号目前固定为数字1","partitions":{"partitionId编号":[同步副本组brokerId列表],"partitionId编号":[同步副本组brokerId列表],.......}}Example:{"versi
幽灵之使
·
2014-04-15 10:13
apache
kafka
kafka
zookeeper中存储结构
kafka存储结构
apache
kafka系列
apache
kafka系列
之在zookeeper中存储结构
apachekafka中国社区QQ群:1622725571.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{ "version":"版本编号目前固定为数字1", "partitions":{ "partitionId编号":[ 同步副本组brokerId列表 ], "partiti
lizhitao
·
2014-04-15 10:00
apache
kafka
zookeeper中存储结构
kafka存储结构
kafka系列
[置顶] 【Apache
KafKa系列
之一】KafKa安装部署
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流
WeiJonathan
·
2014-01-10 10:00
kafka
安装部署
【Apache
KafKa系列
之一】KafKa安装部署
kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流
Jonathan-Wei
·
2014-01-10 00:00
Apache
Kafka
Jafka源码粗略解读之三-producer
资料今天看到研究Jafka的人还挺多的,比较优秀的是@FrankHui的
Kafka系列
文章,还有@rockybean的博客。
黄亿华
·
2013-08-18 16:00
jafka
producer
[置顶] Apache
Kafka系列
之Kafka设计细节
我们为什么要构建这个系统Kafka是一个分布式、分区的、多副本的、多订阅者的“提交”日志系统。我们构建这个系统是因为我们认为,一个实现完好的操作日志系统是一个最基本的基础设施,它可以替代一些系统来作诸如:消息处理,ETL(Extraction-Transformation-Loading),日志收集,流式处理等工作。我们的目标就是能有一个拥有足够吞吐量和能力的系统来将上面这些事情统一在一个平台上。
Kevin_HX001
·
2013-07-22 22:00
kafka
设计细节
[置顶] Apache
Kafka系列
之Kafka介绍
Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。所有的这些意味着什么?首先,我们来看一下一些基础的有关消息的术语:1)Kafka维护按类区分的消息,称为主题(topic)2)生产者(producer)向kafka的主题发布消息3)消费者(consumer)向主题注册,并且接收发布到这些主题的消息4)kafka以一个拥有一台或多台服务器的集群
Kevin_HX001
·
2013-07-22 15:00
kafka
分布式
消息系统
kafka 源码调研系列1 特色
kafka相关调研很多,其中以FrankHui大神(http://my.oschina.net/ielts0909)的
kafka系列
文章非常精彩,悲催的是,前期调研时候没有看到,老老实实的看完了
川明君
·
2013-07-17 11:00
kafka
设计特色
kafka系列
文章索引
apachekafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对kafka做一些功能性增强,并java化,虽然现在已经有很多这样的版本,但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网 http://kafka.apache.org/ 在官网最值得参考的文章就是kafkadesign:http
Gaischen
·
2013-03-25 21:00
kafka
上一页
1
2
3
4
5
6
7
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他