Kafka0.8集群部署与shell命令行操作

1、kafka简介
在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
KAFKA + STORM +REDIS
1、Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
2、Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
3、Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。
4、Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。
5、无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性
注:类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据。
2、kafka集群部署
kafka集群跟storm集群类似,分为:下载安装包、解压安装包、修改配置文件、分发安装包(之后需要在各个机器上再次修改配置文件)、启动集群。
准备工作
这里使用三台机器进行集群:mini1,mini2,mini3
关闭防火墙,各机器的hosts文件如下
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 localhost.jinbm
192.168.25.127 mini1
192.168.25.129 mini2
192.168.25.130 mini3

1、下载安装包并上传到mini1机器上,这里下载的是 kafka_2.11-0.8.2.0.tgz;
2、解压安装包导指定目录,我这台机器的apps目录下安装了很多大数据相关的软件,所以解压到该目录了,并且重命名。
[root@mini1 ~]# tar -zxvf kafka_2.11-0.8.2.0.tgz -C apps/
[root@mini1 ~]# cd apps/
[root@mini1 apps]# ll
总用量 28
drwxr-xr-x. 8 root root 4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxrwxr-x. 10 hadoop hadoop 4096 9月 30 22:04 hadoop-2.6.4
drwxr-xr-x. 7 root root 4096 10月 30 00:20 hbase
drwxr-xr-x. 8 root root 4096 10月 17 12:38 hive
drwxr-xr-x. 5 root root 4096 1月 29 2015 kafka_2.11-0.8.2.0
drwxr-xr-x. 10 root root 4096 10月 30 15:34 storm
drwxr-xr-x. 10 root root 4096 10月 29 23:21 zookeeper-3.4.6
[root@mini1 apps]# mv kafka_2.11-0.8.2.0/ kafka
[root@mini1 apps]# ll
总用量 28
drwxr-xr-x. 8 root root 4096 10月 19 15:15 apache-flume-1.6.0-bin
drwxrwxr-x. 10 hadoop hadoop 4096 9月 30 22:04 hadoop-2.6.4
drwxr-xr-x. 7 root root 4096 10月 30 00:20 hbase
drwxr-xr-x. 8 root root 4096 10月 17 12:38 hive
drwxr-xr-x. 5 root root 4096 1月 29 2015 kafka
drwxr-xr-x. 10 root root 4096 10月 30 15:34 storm
drwxr-xr-x. 10 root root 4096 10月 29 23:21 zookeeper-3.4.6

3、修改配置文件,进入kafka的config目录下,可以查看到各类配置文件,这里修改server.properties 。
[root@mini1 config]# ll
总用量 32
-rw-r--r--. 1 root root 1199 1月 29 2015 consumer.properties
-rw-r--r--. 1 root root 3846 1月 29 2015 log4j.properties
-rw-r--r--. 1 root root 2228 1月 29 2015 producer.properties
-rw-r--r--. 1 root root 5559 1月 29 2015 server.properties
-rw-r--r--. 1 root root 3325 1月 29 2015 test-log4j.properties
-rw-r--r--. 1 root root 993 1月 29 2015 tools-log4j.properties
-rw-r--r--. 1 root root 1023 1月 29 2015 zookeeper.properties
[root@mini1 config]# vi server.properties

broker的全局唯一编号,不能重复

broker.id=0

用来监听链接的端口,producer或consumer将在此端口建立连接

port=9092

处理网络请求的线程数量

num.network.threads=3

用来处理磁盘IO的线程数量

num.io.threads=8

发送套接字的缓冲区大小

socket.send.buffer.bytes=102400

接受套接字的缓冲区大小

socket.receive.buffer.bytes=102400

请求套接字的缓冲区大小

socket.request.max.bytes=104857600

kafka运行日志存放的路径

log.dirs=/root/apps/kafka

topic在当前broker上的分片个数

num.partitions=2

用来恢复和清理data下数据的线程数量

num.recovery.threads.per.data.dir=1

segment文件保留的最长时间,超时将被删除

log.retention.hours=168

滚动生成新的segment文件的最大时间

log.roll.hours=168

日志文件中每个segment的大小,默认为1G

log.segment.bytes=1073741824

周期性检查文件大小的时间

log.retention.check.interval.ms=300000

日志清理是否打开

log.cleaner.enable=true

broker需要使用zookeeper保存meta数据

zookeeper.connect=mini1:2181,mini2:2181,mini3:2181

zookeeper链接超时时间

zookeeper.connection.timeout.ms=6000

partion buffer中,消息的条数达到阈值,将触发flush到磁盘

log.flush.interval.messages=10000

消息buffer的时间,达到阈值,将触发flush到磁盘

log.flush.interval.ms=3000

删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除

delete.topic.enable=true

此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!

host.name=mini1

4、将mini1上的kafka分发到mini2和mini3上
[root@mini1 ~]# scp -r apps/kafka/ mini2:/root/apps/
[root@mini1 ~]# scp -r apps/kafka/ mini3:/root/apps/

5、再次修改mini2和mini3上的配置文件server.properties,修改两处,一个是broker编号一个是主机名
mini2上如下

broker的全局唯一编号,不能重复

broker.id=1

此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!

host.name=mini2

mini3上如下

broker的全局唯一编号,不能重复

broker.id=2

此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!

host.name=mini3

6、到这里配置完了,但是为了不进入kafka的bin目录下就能执行命令行操作,所以需要修改环境变量。三台机器上修改均如下(添加最后两行)
[root@mini1 ~]# vi /etc/profile
...
JAVA_HOME=/heima32/jdk1.7.0_55/
HADOOP_HOME=/root/apps/hadoop-2.6.4
export PATH=JAVA_HOME/bin:PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin
export HBASE_HOME=/root/apps/hbase
export PATH=PATH:HBASE_HOME/bin
export STORM_HOME=/root/apps/storm
export PATH=PATH:STORM_HOME/bin
export KAFKA_HOME=/root/apps/kafka
export PATH=PATH:KAFKA_HOME/bin

7、启动集群
依次启动mini1,mini2和mini3上的kafka(进入kafka安装目录执行以下命令)
[root@mini1 kafka]# bin/kafka-server-start.sh config/server.properties

3、kafka命令行操作
1、创建topic(注:因为修改了环境变量,所以不管有没有进入bin目录都能执行相应命令行操作)
参数表示:指定副本数,使用几个partition(分片),topic名称
[root@mini1 bin]# ./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 3 --topic orderMq
Created topic "orderMq".
[root@mini1 kafka]# kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 3 --topic test
Created topic "test".

2、查看当前存在哪些topic
[root@mini1 kafka]# kafka-topics.sh --list --zookeeper mini1:2181
orderMq
test

3、删除指定topic
[root@mini1 kafka]# kafka-topics.sh --delete --zookeeper mini1:2181 --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
[root@mini1 kafka]# kafka-topics.sh --list --zookeeper mini1:2181
orderMq

4、通过shell命令行发送message(消息)
[root@mini1 bin]# kafka-console-producer.sh --broker-list mini1:9092 --topic orderMq
hello tom
hi jerry
spring ^H
hhaah
xixi
nini

5、通过shell命令行消费消息
[root@mini1 bin]# kafka-console-consumer.sh --zookeeper mini1:2181 -from-beginning --topic orderMq
hello tom
hi jerry
spring
hhaah
xixi
nini

注:这里的生成和消费是同顺序的,但有时候是不会顺序一致的,只能保证消费一个partition里面的消息时是一致,消费多个partition(上面指定了消息被发送到了4个partition)里面的是不能保证顺序完全一致。
6、查看某个topic的详情
orderMq这个topic有用了三个partition(自己创建的时候指定的),各自有2个副本(也是自己创建的时候指定的)以及对于的leader(用处后面讲)。
[root@mini2 bin]# ./kafka-topics.sh --topic orderMq --describe --zookeeper mini1:2181
Topic:orderMq PartitionCount:3 ReplicationFactor:2 Configs:
Topic: orderMq Partition: 0 Leader: 2 Replicas: 2,0 Isr: 0,2
Topic: orderMq Partition: 1 Leader: 0 Replicas: 0,1 Isr: 0,1
Topic: orderMq Partition: 2 Leader: 1 Replicas: 1,2 Isr: 1,2

接下来再创建个topic并且查看详情(使用4个partition,两个副本),并且进入运行日志存放的路径查看
[root@mini2 bin]# kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 2 --partitions 4 --topic payment
Created topic "payment".
[root@mini2 bin]# kafka-topics.sh --topic payment --describe --zookeeper mini1:2181
Topic:payment PartitionCount:4 ReplicationFactor:2 Configs:
Topic: payment Partition: 0 Leader: 2 Replicas: 2,1 Isr: 2,1
Topic: payment Partition: 1 Leader: 0 Replicas: 0,2 Isr: 0,2
Topic: payment Partition: 2 Leader: 1 Replicas: 1,0 Isr: 1,0
Topic: payment Partition: 3 Leader: 2 Replicas: 2,0 Isr: 2,0

[root@mini1 kafka]# cd kafka-logs/
[root@mini1 kafka-logs]# ll
总用量 32
-rw-r--r--. 1 root root 4 11月 21 22:34 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root 4096 11月 21 22:25 orderMq-0
drwxr-xr-x. 2 root root 4096 11月 21 22:25 orderMq-1
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-1
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-2
drwxr-xr-x. 2 root root 4096 11月 21 23:13 payment-3
-rw-r--r--. 1 root root 64 11月 22 03:38 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root 64 11月 22 03:39 replication-offset-checkpoint
[root@mini1 kafka-logs]# cd orderMq-1
[root@mini1 orderMq-1]# ll
总用量 4
-rw-r--r--. 1 root root 10485760 11月 21 22:31 00000000000000000000.index
-rw-r--r--. 1 root root 194 11月 21 22:39 00000000000000000000.log

00000000000000000000.log里面是发送的消息内容,乱码就没贴出来了。

你可能感兴趣的:(Kafka0.8集群部署与shell命令行操作)