Kafka学习

kafka学习总结（含java生产者、消费者、Topic操作代码）

kafka（http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它的优点是能够直接使用磁盘进行存储、线性读写、速度快，避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。首先简单说明一下相关概念。生产者（Producer）：信息的发布者（publish）消费者（Consumer）：消息的接收者，也就是订阅者（subscri
黎洛Winky·2017-07-17 11:49

Kafka学习笔记——centos7下kafka安装配置与验证

简介我们先看看官方给出的kafka分布式架构图多个broker协同合作，producer和consumer部署在各个业务逡辑中被频繁的调用，三者通过zookeeper管理协调请求和转収。返样一个高怅能的分布式消息収布不订阅系统就完成了。我们以一个broker为例介绍下整个消息系统的启动过程整个系统运行的顺序：1.启劢zookeeper的server2.启劢kafka的server3.Produce
孙_悟_空·2017-06-17 00:00

kafka学习总结(七)——kafka监控-kafkaOffsetMonitor

1、kafkaOffsetmonitor简述KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message
mantis-it·2017-06-15 11:51

Kafka学习笔记

ApacheKafka一、消息队列分类1.1点对点消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并消费消息注意：1.消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息2.Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费1.2发布/订阅消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。
C_凡夫俗子·2017-06-14 15:41

Kafka学习笔记——使用Kafka记录APP的操作日志

上一篇文章我们讲到了Kafka的工作原理和如何使用Kafka的代码示例，这里我们开始讲解Kafka的实战，在实际的应用中我们如何使用kafka的。下面将介绍前台的操作日志定时推送到kafka，然后通过kafka将消息日志进行保存，方便大数据的统计分析形成运营报表。我们先看看工程的目录结构：kafka的版本是：org.apache.kafkakafka_2.100.10.2.0下面我们依次看下代码实
孙_悟_空·2017-06-10 23:08

Kafka学习笔记——使用Kafka记录APP的操作日志

上一篇文章我们讲到了Kafka的工作原理和如何使用Kafka的代码示例，这里我们开始讲解Kafka的实战，在实际的应用中我们如何使用kafka的。下面将介绍前台的操作日志定时推送到kafka，然后通过kafka将消息日志进行保存，方便大数据的统计分析形成运营报表。我们先看看工程的目录结构：kafka的版本是： org.apache.kafka kafka_2.10 0.10.2.0 下面我们依次看
fuyuwei2015·2017-06-10 23:00

Kafka学习笔记——Kafka原理与使用详解

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（PageView）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方
fuyuwei2015·2017-06-08 23:00

Kafka学习笔记——Kafka简介与使用场景介绍

IntroductionKafka是linkedin用于日志处理的分布式消息队列，同时支持离线和在线日志处理。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系
fuyuwei2015·2017-06-07 21:00

Kafka学习总结(三)——Kafka的message存储数据结构

引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件系统中，比如，创建了
mantis-it·2017-05-24 01:55

kafka学习 安装与使用

请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行1.Zookeeper搭建1.1ZookeeperZookeeper简单介绍:ZookeeperwikiZookeeper主页:ApacheZookeeper主页IBMdeveloperWorks:分布式服务框架Zookeeper--管理分布式环境中的数据1.2Zookeeper搭建方式Zookeeper安装方式有三种，单机
酱油和醋·2017-05-17 16:51

Docker下kafka学习，三部曲之三：java开发

在前两章《Docker下kafka学习，三部曲之一：极速体验kafka》和《Docker下kafka学习，三部曲之二：本地环境搭建》中，我们通过命令行体验了kafka的消息发布订阅服务，本章我们实战开发两个
程序员欣宸·2017-05-11 15:39

kafka学习——Introduction&QuickStart

**今天看了一下kafka官网，尝试着在自己电脑上安装和配置，然后学一下官方document。**Introduction官网有个示意图如下：kafka_diagramkafka特点：它是一个处理流式数据的”发布-订阅“消息系统。实时高效处理流式数据。将数据安全存储在分布式集群。它是运行在集群上的。它将流式记录存储在topics中。每个record由key,value和timestamp组成。ka
RainChang·2017-04-20 22:11

kafka学习 （一）集群安装配置

安装java安装zookeeper1部署配置2配置说明21myid文件和servermyid22zoocfg23log4jproperties24zkEnvsh和zkServersh文件3参数说明4启动测试安装KAFKA1部署配置2启动服务器3kafka测试3日志说明supervisor管理1管理zookeeper2管理kafka开发1安装javamkdir/usr/local/javacpjdk
_懒懒的天空_·2017-02-06 14:58

Kafka学习总结(五)——Kafka集群搭建

1、准备好kafka安装包，unzipxxx.zip解压。压缩包网盘地址：http://pan.baidu.com/s/1o8pmH2U2、进入到kafka的config目录3、先搭建三个节点zk集群，三台机器。修改zookeeper.properties如下配置信息。cd/home/xxx/data/zookeeper目录每台机器都需要创建myid文件，内容依次为1，2，3如下是3台集群服务器样
mantis-it·2016-11-30 22:12

kafka学习六：kafka集成第三方

Storm集成KafkaStorm简介少量数据的实时处理可以使用JMS（JavaMessagingService）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。Storm是开源的分布式实时数据处理系统。它可用于很多场景，如实时分析（real-timeanalytics）、在线机器学习（onlinemachinelearning）、连续计算（continuouscomput
oO归去来兮Oo·2016-06-15 14:57

Kafka学习整理九(集群的扩容)

第一步配置新得broker将现有的集群上任一个服务器上的kafka目录拷贝到新的服务器上修改config/server.properties中的broker.id、log.dirs、listeners创建logs.dirs指定的目录，并设定读写权限(chomd-R777XXX)broker.id=3log.dirs=kafka-logslisteners=PLAINTEXT://172.16.49
louisliao_1981·2016-06-07 17:11

Kafka学习整理八(topic管理)

一、创建topic使用命令行手动或者向一个不存在的topic发送(生产)消息时都会新创建一个topic向一个不存在的topic发送(生产)消息时新创建的topic时，其采用为默认的topic-config配置以及server.properties中的topic的配置。使用命令行手动创建一个topic可以使用–config选项配合topic-config配置中的信息来覆盖默认配置或者使用–delet
louisliao_1981·2016-06-07 16:35

Kafka学习整理七(producer和consumer编程实践)

实践代码采用kafka-clientsV0.10.0.0编写一、编写producer第一步：使用./kafka-topics.sh命令创建topic及partitions分区数./kafka-topics.sh--create--zookepper"172.16.49.173:2181"--topic"producer_test"--partitions10replication-factor3第
louisliao_1981·2016-06-03 15:46

Kafka学习整理六(server.properties配置实践)

配置实践基于kafka的0.10.0版本单机伪集群的配置第一步：打开config/server.properties文件，修改broker.id，listeners，port,log.dirsviconfig/server.propertiesbroker.id=0listeners=PLAINTEXT://172.16.49.173:9092port=9092log.dirs=kafka-log
louisliao_1981·2016-06-02 15:14

Kafka学习整理一(基础概念)

Kafka基础概念Kafka中包含以下基础概念1.Topic(话题)：Kafka中用于区分不同类别信息的类别名称。由producer指定2.Producer(生产者)：将消息发布到Kafka特定的Topic的对象(过程)3.Consumers(消费者)：订阅并处理特定的Topic中的消息的对象(过程)4.Broker(Kafka服务集群)：已发布的消息保存在一组服务器中，称之为Kafka集群。集群
louisliao_1981·2016-05-27 16:42

Kafka学习整理(基础概念)

Kafka基础概念Kafka中包含以下基础概念1.Topic(话题)：Kafka中用于区分不同类别信息的类别名称。由producer指定2.Producer(生产者)：将消息发布到Kafka特定的Topic的对象(过程)3.Consumers(消费者)：订阅并处理特定的Topic中的消息的对象(过程)4.Broker(Kafka服务集群)：已发布的消息保存在一组服务器中，称之为Kafka集群。集群
LOUISLIAOXH·2016-05-27 16:00

Kafka学习整理二(定义、特点、应用场景)

Kafka是什么Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产)、consumer(消息消费者)都可以是分布
louisliao_1981·2016-05-27 14:50

Kafka学习整理(定义、特点、应用场景)

Kafka是什么Kafka最先由LinkedIn公司开发，之后成为Apache的顶级项目。Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件borker(服务端集群)、producer(消息生产)、consumer(消息消费者)都可以是分布
LOUISLIAOXH·2016-05-27 14:00

Kafka学习整理三(borker(0.9.0及0.10.0)配置)

Kafka日志本身是由多个日志段组成(logsegment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据*borker配置就是指配置server.properties文件*最小配置通常情况下需要在减压缩kafka后，修改config/server.properties配置文件中的以下两项log.dirs=kafka-lo
louisliao_1981·2016-05-27 13:38

Kafka学习整理四(Producer配置)

名称说明类型默认值有效值重要性bootstrap.servers用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers）。这个列表格式：host1:port1,host2:port2,…因为这些server仅仅是用于初始化的连接，以发现集群
louisliao_1981·2016-05-27 13:06

Kafka学习整理五(Consumer配置)

PropertyDefaultDescriptiongroup.id用来唯一标识consumer进程所在组的字符串，如果设置同样的groupid，表示这些processes都是属于同一个consumergroupzookeeper.connect指定zookeeper的连接的字符串，格式是hostname：port，此处host和port都是zookeeperserver的host和port，为避
louisliao_1981·2016-05-27 13:01

Kafka学习(六)：Kafka的生产者编程模型

Kafka的生产模型分为两种：1.同步生产模型（一条一条的发送）2.异步生产模型（很多条等待后，一次性发送）生产者每次都发送一条消息都会等待，zookeeper集群的确认，如果没有收到确认，则短暂的等待，再次发送，只到达到设置的最大的发送次数生产者客户端一次把所有的消息全部一次发送到kafak服务器端的缓存队列中，然后再一次性发送出去
杰布斯·2016-04-27 18:12

Kafka学习(六)：Kafka的生产者编程模型

Kafka的生产模型分为两种：1.同步生产模型（一条一条的发送）2.异步生产模型（很多条等待后，一次性发送）   生产者每次都发送一条消息都会等待，zookeeper集群的确认，如果没有收到确认，则短暂的等待，再次发送，只到达到设置的最大的发送次数  生产者客户端一次把所有的消息全部一次发送到kafak服务器端的缓存队列中，然后再一次性发送出去
ZuoAnYinXiang·2016-04-27 18:00

Kafka学习(五)：Kafka的消费编程模型

Kafka的消费模型分为两种：1.分区消费模型2.分组消费模型一.分区消费模型二、分组消费模型发送packagecn.outofmemory.kafka;importjava.util.Properties;importkafka.javaapi.producer.Producer;importkafka.producer.KeyedMessage;importkafka.producer.Pro
杰布斯·2016-04-27 17:58

Kafka学习(五)：Kafka的消费编程模型

Kafka的消费模型分为两种：1.分区消费模型2.分组消费模型一.分区消费模型二、分组消费模型发送packagecn.outofmemory.kafka; importjava.util.Properties; importkafka.javaapi.producer.Producer; importkafka.producer.KeyedMessage; importkafka.produc
ZuoAnYinXiang·2016-04-27 17:00

kafka学习二：在linux环境下kafka搭建环境

1.下载kafka软件包：这里使用2.10版本的kafka2.解压缩kafka软件包：这里将软件包放在softpackage0324文件下 cdsoftpackage0324tar-zxvfkafka_2.10-0.8.2.1.tgz3.进入kafka_2.10-0.8.2.1 cd  kafka_2.10-0.8.2.14.修改配置文件：进入config文件夹下： 1.zookeeper.pro
u011066470·2016-04-15 15:00

Kafka学习

一应用场景描述 我们处理日志是通过ELK来处理的，使用Redis来作为Broker.当业务高峰期来临的时候，Redis队列经常有堵塞的情况发生，经过网上查找资料，有公司使用Kafka来处理日志，据说效率还很高，所以决定先学习一下Kafka，然后再对比测试下Kafka和Redis作为Broker的效率。二Kafka简介 按照Kafka官方的介绍Kafka是一个基于发布订阅模式的高吞吐率的分布式消息系
自由linux·2016-04-13 19:13

Kafka学习

一应用场景描述我们处理日志是通过ELK来处理的，使用Redis来作为Broker.当业务高峰期来临的时候，Redis队列经常有堵塞的情况发生，经过网上查找资料，有公司使用Kafka来处理日志，据说效率还很高，所以决定先学习一下Kafka，然后再对比测试下Kafka和Redis作为Broker的效率。二Kafka简介按照Kafka官方的介绍Kafka是一个基于发布订阅模式的高吞吐率的分布式消息系统。
自由linux·2016-04-13 19:13

kafka学习（四）--java开发(基于kafka0.9版本)

kafka-clientsjar包采用的是org.apache.kafka:kafka-clients:0.9.0.1。ProducerPropertiesprops=newProperties(); props.put("bootstrap.servers","x.x.x.x:9091"); props.put("key.serializer","org.apache.kafka.common.
zero__007·2016-04-05 21:00

【转】KafKa学习

kafka是一个高吞吐量的分布式消息系统，整体设计为典型的发布与订阅模式。kafka内部采用zookeeper来解决配置管理、通知/协调、集群管理、master选举等问题，所以建议先对zookeeper有个基本的了解，可以看下我的zookeeper笔记(一)。 这次对于kafka只介绍一下命令行下的安装部署等操作，其它的，比如kafka在zookeeper中的存储结构、配置详解、java客户端代码
不一样的感觉·2016-04-01 07:00

Kafka学习（一）基本概念

介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafkatopic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做
等待救赎·2016-03-25 10:00

Kafka学习之四 Kafka常用命令

Kafka常用命令以下是kafka常用命令行总结：1.查看topic的详细信息./kafka-topics.sh-zookeeper127.0.0.1:2181-describe-topictestKJ12、为topic增加副本./kafka-reassign-partitions.sh-zookeeper127.0.0.1:2181-reassignment-json-filejson/part
宝哥-NO1·2016-03-20 11:39

Kafka学习之三 Kafka线上环境集群部署及客户端应用

1、Zookeeper集群构建我们有3个zk实例，分别为zk-0,zk-1,zk-2;如果你仅仅是测试使用，可以使用1个zk实例.（本示例基于分布式部署）1)zk-0调整配置文件：clientPort=2181dataDir=/opt/zookeeper-3.4.6/dataserver.0=10.10.73.53:2888:3888server.1=10.10.73.54:2888:3888se
宝哥-NO1·2016-03-20 11:37

Kafka学习(四)：Kafka的安装

Step1:下载Kafka>tar-xzfkafka_2.9.2-0.8.1.1.tgz>cdkafka_2.9.2-0.8.1.1Step2:启动服务Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。>bin/zookeeper-server-start.shconfig/z
ZuoAnYinXiang·2016-03-17 14:00

Kafka学习(三)：Kafka的内部机制深入(持久化，分布式，通讯协议)

一.Kafka的持久化1.数据持久化：发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化；传统的使用内存做为磁盘的缓存Kafka直接将数据写入到日志文件中，以追加的形式写入2.日志数据持久化特性：写操作：通过将数据追加到文件中实现读操作：读的时候从文件中读就好了3.优势：读操作不会阻塞写操作和其他操作（因为读和写都是追加的形式，都是顺序的，不会乱，所以不会
杰布斯·2016-03-16 15:41

Kafka学习(三)：Kafka的内部机制深入(持久化，分布式，通讯协议)

一.Kafka的持久化1.数据持久化：   发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化；   传统的使用内存做为磁盘的缓存   Kafka直接将数据写入到日志文件中，以追加的形式写入2.日志数据持久化特性：    写操作：通过将数据追加到文件中实现  读操作：读的时候从文件中读就好了3.优势：         读操作不会阻塞写操作和其他操作（因为读
ZuoAnYinXiang·2016-03-16 15:00

Kafka学习(二)：Kafka的基本结构和概念

一.Kafka中的核心概念Producer:特指消息的生产者Consumer:特指消息的消费者ConsumerGroup:消费者组，可以并行消费Topic中partition的消息Broker：缓存代理，Kafa集群中的一台或多台服务器统称为broker。Topic：特指Kafka处理的消息源（feedsofmessages）的不同分类。Partition：Topic物理上的分组，一个topic可
杰布斯·2016-03-15 18:43

Kafka学习(二)：Kafka的基本结构和概念

一.Kafka中的核心概念Producer: 特指消息的生产者Consumer:特指消息的消费者ConsumerGroup:消费者组，可以并行消费Topic中partition的消息Broker：缓存代理，Kafa集群中的一台或多台服务器统称为broker。Topic：特指Kafka处理的消息源（feedsofmessages）的不同分类。Partition：Topic物理上的分组，一个topic
ZuoAnYinXiang·2016-03-15 18:00

Kafka学习(一)：Kafka背景及架构介绍

一.Kafka简介    Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。     在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。
ZuoAnYinXiang·2016-03-14 19:00

kafka学习笔记

一、集群安装1、解压 2、修改/home/hadoop/app/kafka_2.10-0.8.1.1/config/server.propertiesbroker.id=1  //每一台节点的这个参数会不同，这是每一台节点的idzookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 3、将zookeeper集群启动 4、在每一台节点上
crazyZHZ·2016-03-05 19:15

kafka学习的网站地址（一）

1.http://www.cnblogs.com/likehua/p/3999538.html2.官方文档地址:http://kafka.apache.org/documentation.html#introduction
不爱不见·2016-01-13 14:00

Kafka学习之一 Kafka是什么，主要应用在什么场景?

1、kafka是什么？Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。2、产生背景Kafka是一个消息系统，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（
宝哥-NO1·2016-01-07 12:52

kafka学习之-java api测试

1.配置packagecom.storm.storm_my.kafka; /** * *@authorPeng.Li * */ publicclassKafkaConfigApiConstant{ /** * *@author配置的key * */ publicinterfacekafkaPropertiesKeys{ publicstaticfinalStr
积淀·2016-01-02 11:00

kafka学习之-雅虎开源管理工具Kafka Manager

  http://blog.csdn.net/lizhitao/article/details/44523663
积淀·2016-01-01 18:00

kafka学习之-server.properties详细说明

      http://blog.csdn.net/lizhitao/article/details/25667831 --参考文章http://kafka.apache.org/documentation.html#serverconfig--官网
积淀·2016-01-01 17:00
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他