kafka

阅读更多

 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。具体介绍可以看这里。
[url]http://www.cnblogs.com/likehua/p/3999538.html[/url]

kafka如何在windows下安装，使用。安装前需要两个前提提高，一个是jdk。另一个是Zookeeper.
C. 安装Kafka

1. 进入Kafka配置目录，例如C:\kafka_2.11-0.9.0.0\config
2. 编辑文件“server.properties”
3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs”
4. 如果Zookeeper在某些其他的机器或集群上运行，可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我们使用了同一个机器，因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。
5. Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。

D. 运行Kafka服务器

重要：请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录C:\kafka_2.11-0.9.0.0\
2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。
3.现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties
图片描述

4.如果一切正常，命令行应当是这样：

图片描述

5.现在Kafka已经准备好并开始运行，可以创建主题来存储消息了。我们也能从Java/Scala代码中，或直接从命令行中生成或使用数据。

E. 创建主题

1. 现在创建主题，命名为“test”，replication factor=1（因为只有1个Kafka服务器在运行）。如果集群中所运行的Kafka服务器不止1个，可以相应增加replication-factor，从而提高数据可用性和系统容错性。
2. 在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。
3. 输入下面的命令，回车：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test


F. 创建Producer及Consumer来测试服务器。

1.在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。
2.输入以下命令，启动producer：
kafka-console-producer.bat --broker-list localhost:9092 --topic test
3.在同样的位置C:\kafka_2.11-0.9.0.0\bin\windows再次打开新的命令行。
4.现在输入下列命令启动consumer：
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
5.现在有两个命令行窗口，如下图：
6.在producer命令行中任意输入内容，回车；在其他consumer命令行中能看到相应消息。
7.如果能够将消息推送到consumer端并显示出来的话，Kafka安装就完成了。
一些有用的命令
1.列出主题：kafka-topics.bat –list –zookeeper localhost:2181
2.描述主题：kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]
3.从头读取消息：kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning
4.删除主题：kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181

在这里打开的窗口比较多，我打开了4个窗口 一个kafka 服务，一个zookeeper服务，一个kafka消息提高者。一个kafka 接受，也就是消费者。
安装参照 

http://www.2cto.com/os/201602/489963.html