KafKa学习

kafka学习的网站地址（一）

1.http://www.cnblogs.com/likehua/p/3999538.html2.官方文档地址:http://kafka.apache.org/documentation.html#introduction
不爱不见·2016-01-13 14:00

Kafka学习之一 Kafka是什么，主要应用在什么场景?

1、kafka是什么？Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。2、产生背景Kafka是一个消息系统，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（
宝哥-NO1·2016-01-07 12:52

kafka学习之-java api测试

1.配置packagecom.storm.storm_my.kafka; /** * *@authorPeng.Li * */ publicclassKafkaConfigApiConstant{ /** * *@author配置的key * */ publicinterfacekafkaPropertiesKeys{ publicstaticfinalStr
积淀·2016-01-02 11:00

kafka学习之-雅虎开源管理工具Kafka Manager

  http://blog.csdn.net/lizhitao/article/details/44523663
积淀·2016-01-01 18:00

kafka学习之-server.properties详细说明

      http://blog.csdn.net/lizhitao/article/details/25667831 --参考文章http://kafka.apache.org/documentation.html#serverconfig--官网
积淀·2016-01-01 17:00

kafka学习 -- 消息处理

1Kafka在启动的时候，会启动Processor线程负责监听消息端口，当有消息接收时，调用read函数12345678910111213141516def read(key: SelectionKey) {  ... ...   if(read  error("Exception when handling request", e)     }   } }到这里，就可以看到了handle的处理方
eyoulc123·2015-12-31 15:00

Kafka学习 -- Producer源码分析

 Producer客户端代码，它将数据写入到ByteBuffer中，然后再通过JAVANIO发送到kafka的Server端。这两天详细跟着Producer的代码，将它的发送过程整理了一下，加深对kafka的理解。1.Producer的初始化   producer = new Producer(new ProducerConfig(props));初始化的大量的工作都是在此构造函数中完成。查看源码
eyoulc123·2015-12-31 14:00

kafka学习笔记

最近在做一个项目，需要将运营商提供的原始数据从FTP服务器自动获取并通过脚本解压和xml解析之后存入kafka集群中，下面是在做的过程中有关kafka的学习记录。Partitions：1、kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存；2、可以将一个topic切分多任意多个
小雄bb·2015-12-20 19:00

kafka学习

/***LicensedtotheApacheSoftwareFoundation(ASF)underoneormore*contributorlicenseagreements.SeetheNOTICEfiledistributedwith*thisworkforadditionalinformationregardingcopyrightownership.*TheASFlicensesthi
u013491262·2015-12-16 10:00

Kafka学习笔记

Kafka学习笔记1、参考http://www.aboutyun.com/thread-12882-1-1.htmlKafka入门经典教程下载地址：http://kafka.apache.org/downloads.html2
wangqiaowqo·2015-09-24 12:00

kafka学习（三）--java开发(基于kafka0.8版本)

转载自：http://blog.csdn.net/lizhitao/article/details/378112911.依赖jar包 2.producer程序producer参数说明#指定kafka节点列表，用于获取metadata，不必全部指定 metadata.broker.list=192.168.2.105:9092,192.168.2.106:9092 #指定分区处理类。默认kafk
zero__007·2015-08-27 11:00

kafka学习（二）--windows下安装配置

Kafka版本是kafka_2.10-0.8.2.1(本地zookeeper已正常启动，或则启动kafka的自带zookeeper，详见http://blog.csdn.net/shangboerds/article/details/39033677)单节点kafka配置1.修改配置文件conf\server.properties：  20行：broker.id=0；  28行：host.name
zero__007·2015-08-26 18:00

kafka学习（一）

转载自：http://my.oschina.net/frankwu/blog/303745        http://www.aboutyun.com/thread-8919-1-1.html        http://blog.csdn.net/lizhitao/article/details/237438211.简介   Kafkaisadistributed,partitioned,re
zero__007·2015-08-26 17:00

Kafka学习笔记-Java简单操作

Maven依赖包： org.apache.kafka kafka-clients 0.8.2.1 org.apache.kafka kafka_2.11 0.8.2.1 代码如下：importjava.util.Properties; importorg.apache.kafka.clients.producer.Callback; importorg.apache.kafka.clien
wulinshishen·2015-06-13 23:00

Kafka学习笔记-基本概念与安装部署

   Kafka是Linkedin开源的消息系统，它主要用于日志处理的分布式消息队列，处理活跃的流式数据。活跃的流式数据在网站应用中非常常见，这些数据包括网站的pv、用户行为（登录、浏览、点击、分享、喜欢等），搜索内容以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩
wulinshishen·2015-06-09 19:00

Kafka学习之producer配置(0.8.1版)

最近在弄flume相关的东西。找到了这篇文章，贴出来，方便以后需要！文章地址：http://damacheng009.iteye.com/blog/2087996?utm_source=tuicoolmetadata.broker.list默认值：无，必填格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replic
tiantang_1986·2015-05-14 17:00

Kafka学习笔记

转载自:http://blog.csdn.net/baiyangfu_love/article/details/8096084关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是
jmppok·2015-03-25 10:00

Kafka学习笔记

转载自:http://blog.csdn.net/baiyangfu_love/article/details/8096084关于kafka的架构图在之前的一篇文章中有：http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念：1、关注大吞吐量，而不是别的特性2、针对实时性场景3、关于消息被处理的状态是
jmppok·2015-03-25 10:00

kafka学习总结

KAFKA学习总结一、 简介KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统;KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍
JerryYux·2015-02-03 10:00

Kafka学习之Replication tools之Reassign Partitions Tool

 原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟ReferredReplicaLeaderElection工具类似，都是为了平衡集群的负载。但工具不仅为某一个partition从assign
damacheng·2015-01-04 16:00

Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoring Kafka使用YammerMetrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ga
damacheng·2015-01-04 16:00

Kafka学习之源代码环境搭建(eclipse)

主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤： 1，安装Eclipse，略过，我的版本是： 2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/download/curren
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之Add Partition Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就要指定这个
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看statechanges，查明问题。集群中的每一个broker
damacheng·2015-01-04 16:00

Kafka学习之broker配置(0.8.1版)

broker.id 默认值：无每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。 log.dirs默认值：/tmp/kafka-logs一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当需要为一个新的partition分配一个目录时，会选择当前的
damacheng·2015-01-04 16:00

Kafka学习之producer配置(0.8.1版)

metadata.broker.list默认值：无，必填格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者一个VIP，指向broker的一个子集。 request.required.acks默认值：0用来控制一个
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之controlled shutdown

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdowncontrolledshutdown是啥意思？在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用。在任意的时
damacheng·2015-01-04 16:00

Kafka学习之consumer配置(0.8.1版)

group.id默认值：无唯一的指明了consumer的group的名字，group名一样的进程属于同一个consumergroup。 zookeeper.connect默认值：无指定了ZooKeeper的connectstring，以hostname:port的形式，hostname和port就是ZooKeeper集群各个节点的hostname和port。ZooKeeper集群中的某个节点可能会
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之List Topic Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，partition
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之Preferred Replica Leader Election Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool这工具做了啥？为了支持replication功能，每一个partition可以有多个replica。一个partition的replica列表称为"
damacheng·2015-01-04 16:00

Kafka学习之Replication tools之Create Topic Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥？如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replicationfacto
damacheng·2015-01-04 16:00

消息队列-Kafka学习

Kafka是一个分布式的消息队列，学习见ApacheKafka文档，中文翻译见Kafka分享，一个简单的入门例子见kafka代码入门实例。本文只针对自己感兴趣的点记录下。1.架构Producer/Consumer：消息的生成者和使用者。Broker：kafkaserver充当broker角色，起到消息队列的作用。topic/partion：topic是一类消息的名称，一个topic下的消息可以分成
孙瑞宇·2014-11-19 20:00

Kafka学习笔记04 - 集群

Kafka的集群算法做的很先进，大大强于ActiveMQ。ActiveMQ只有主从互备的HA，负载均衡做的不好，没有消息分片。而Kafka在HA，负载均衡和消息分片上做的很完美。Kafka的消息存储在Broker上，每种类型的消息，存在一个Topic里。每个Topic分成多个分区。这些分区可以分布在同一个物理机，也可以分布在不同的物理机。高可用Kafka提供一个复制因子的概念，可以把分区复制n份，
terrymanu·2014-08-20 17:00

Kafka学习笔记03 - 性能对比

之前做过一次ActiveMQ各种存储方式下的性能对比。现在把Kafka的性能也测试了一下。我使用的默认设置，使用3个线程跑3个分区消费，没有使用固态硬盘。发送1000条消息，Kafka性能优势明显。发送10000条消息，Kafka性能优势更加明显。消费1000条消息，Kafka性能优势不在，甚至比ActiveMQ的KahaDB和LevelDB慢一倍。消费10000条消息，这个图是由于ActiveM
terrymanu·2014-08-14 16:00

Kafka学习笔记02 - 适用场景

不要求消息准确性很高，但是消息的吞吐量大由于Kafka可以处理高吞吐量的消息，所以非常适合处理系统点击日志收集。即使是有的消息被消费了一次以上，但并不影响统计结果的精确性。而且系统点击日志一般都量很大，放到单一的硬盘中很容易把硬盘撑爆。而Kafka的分布式存储系统，可以自动的实现消息分片和服务器扩容的功能，适合收集日志。很多实时分析系统，都是通过Kafka+Storm进行日志收集和计算分析的。业务
terrymanu·2014-08-12 15:00

Kafka学习笔记01 - 设计理念

Kafka是一个高性能，高可用，可持久化的，为分布式设计的消息中间件。与标准的，如ActiveMQ这样的消息中间件不同，Kafka对消息的“仅仅发送一次”并不关注。Kafka的设计初衷是提供一个统一的处理实时数据的平台。和普通的消息中间件一样，Kafka也分为消息生产者，消息消费者和消息中介。每一种消息的分类，叫主题(Topic)。一个消息中介可以包含多个不同的主题。为了分布式设计，每个主题又可以
terrymanu·2014-08-12 14:00

kafka学习四： flume+kafka+storm

转自：http://blog.csdn.net/desilting/article/details/23194039配置flume:    http://blog.csdn.net/desilting/article/details/22811593conf/flume-conf.properties文件：[html] viewplaincopyprint?producer.sources = s
lskyne·2014-07-08 15:00

Kafka学习三：Flumeng+Kafka+Storm

转自：http://blog.csdn.net/zxcvg/article/details/18600335Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。     Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档介绍的比较全面。      不过这里写写自己的见解这个是flume的架
lskyne·2014-07-08 13:00

Kafka学习二

转自：http://blog.csdn.net/desilting/article/details/22873335安装完kafka后，做了下简单测试消息生产端：[java] viewplaincopyprint?import java.util.Properties;  import kafka.javaapi.producer.Producer;  import kafka.producer.
lskyne·2014-07-08 13:00

Kafka学习一

转自：http://blog.csdn.net/desilting/article/details/22872839kafka下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1/kafka_2.10-0.8.1.tgz分别在三台服务器上安装kafka：tarzxvfkafka_2.10-0.8.1.tgz修改每台服务器的config
lskyne·2014-07-08 13:00

Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoringKafka使用YammerMetrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的gan
array020·2014-07-07 14:23

Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoring   Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Repor
邢邢色色·2014-07-07 14:00

Kafka学习之源代码环境搭建(eclipse)

主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤： 1，安装Eclipse，略过，我的版本是： 2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/download/curren
邢邢色色·2014-07-07 12:00

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool 此工具能做啥 ?   此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes，查明问题。集
邢邢色色·2014-07-05 17:00

Kafka学习之Replication tools之Reassign Partitions Tool

  原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool 此工具能做啥? 此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个p
邢邢色色·2014-07-05 11:00

Kafka学习之Replication tools之Add Partition Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool 此工具能做啥? Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就要指
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之Create Topic Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥？ 如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replication f
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之List Topic Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥? 此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，partit
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之Preferred Replica Leader Election Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool 这工具做了啥？ 为了支持replication功能，每一个partition可以有多个replica。一个partition的replica列表
邢邢色色·2014-07-04 16:00

Kafka学习之Replication tools之controlled shutdown

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdown controlled shutdown是啥意思？ 在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用。在
邢邢色色·2014-07-04 14:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他