Kafka学习

Kafka学习之Replication tools之List Topic Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥? 此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，partit
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之Preferred Replica Leader Election Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool 这工具做了啥？ 为了支持replication功能，每一个partition可以有多个replica。一个partition的replica列表
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之controlled shutdown

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdown controlled shutdown是啥意思？ 在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用。在
邢邢色色·2014-07-04 14:00

Kafka学习之consumer配置(0.8.1版)

group.id 默认值：无 唯一的指明了consumer的group的名字，group名一样的进程属于同一个consumer group。   zookeeper.connect 默认值：无 指定了ZooKeeper的connect string，以hostname:port的形式，hostname和port就是ZooKeeper集群各个节点的hostname和port。 Zo
邢邢色色·2014-07-03 17:00

Kafka学习之producer配置(0.8.1版)

metadata.broker.list默认值：无，必填格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者一个VIP，指向broker的一个子集。request.required.acks默认值：0用来控制一个p
array020·2014-07-03 16:51

Kafka学习之producer配置(0.8.1版)

metadata.broker.list 默认值：无，必填 格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者一个VIP，指向broker的一个子集。   request.required.ack
邢邢色色·2014-07-03 16:00

Kafka学习之broker配置(0.8.1版)

broker.id  默认值：无 每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。   log.dirs 默认值：/tmp/kafka-logs 一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当
邢邢色色·2014-07-03 14:00

KAFKA学习笔记2

Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。 当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对linkedin的日志不是必须的，故可通过降低可靠性来提高性能，同时通过构建
aoyouzi·2014-03-13 09:00

kafka学习笔记1之简介

在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： l 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位l 我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。l 有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操作效率低。这个时候，我
aoyouzi·2014-03-12 19:00

Kafka学习笔记

转载自:http://blog.csdn.net/baiyangfu_love/article/details/8096084关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是
jmppok·2013-12-11 10:00

kafka学习

关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是在consumer端维护，而不是由kafkaserver端维护。4、分布式，producer、broker和consumer都
beijing20120926·2013-11-29 16:00

Kafka学习笔记

关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是在consumer端维护，而不是由kafkaserver端维护。4、分布式，producer、broker和consumer都
hljlzc2007·2013-10-21 15:00

kafka学习之二

要点如下1.日志的存储分区追加方式2.offSet,3.生产者和消费者都能选择分区去发送4.消息的传递有两种方式----队列和发布订阅的方式5.为了保证在传输中的整体顺序，分区数设置为1，此时的消费者就是一个了；如果分区多，kafka异步传输消息到每个分区，就难保证整体的完整有序。使用场景1.kafka作为消息代理除了解藕、缓存外，还有高吞吐量和容错的功能。但是高吞吐总是有一点限制2.网页活动追踪
beijing20120926·2013-10-10 10:00

kafka学习之路

本文主要关注why-->what---->How1Why？为什么要学习kafka？主要基于kafka的诸多应用：诸多大公司都在用如：淘宝、LinkedIna.kafka在我们进行消息处理的时候吞吐量大，及每秒钟转发数据量大，多大？Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（110MB）。2.What?kafka是什么？kafka是一个分布式消息分发系统kafka的工作原理【
beijing20120926·2013-10-09 11:00

Kafka学习笔记

关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是在consumer端维护，而不是由kafkaserver端维护。4、分布式，producer、broker和consumer都
baiyangfu·2012-10-21 20:00

Kafka消息订阅发布系统设计介绍

转http://hi.baidu.com/wupengwuhao/blog/item/b836e8c4985a8122f8dc61b7.html Kafka学习总结 一、Kafaka简介 Kafka
kavy·2012-05-15 11:00

kafka 消息订阅发布系统设计介绍

 Kafka消息订阅发布系统设计介绍转自:http://blog.csdn.net/dahaifeiyu/article/details/6455989Kafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布
tylgoodluck·2012-03-12 14:00

Kafka消息订阅发布系统设计介绍

Kafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布-订阅系统。它的特性如下：l 通过在O(1)的磁盘数据结构上提供消息持久化，对于即使数以TB的消息存储也能够保持长时间的稳定性能。
dahaifeiyu·2011-05-31 08:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他