Kafka 安装完整版

@羲凡——只为了更好的活着

Kafka 安装完整版

Kafka 是做流计算的好基友。kafka的安装都基本一个样，如果安装kafka是为了用spark streaming，建议安装kafka_2.11-0.10.2.2 版本。下面在deptest4，deptest5，deptest6三台机器上配置kafka集群，版本本文随便选择一个版本(kafka1.1.1)。

0.默认你已经安装了JDK和scala

1.下载Kafka安装包

下载地址：http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
因为我用的scala2.11.12版本，所以下载的是 kafka_2.11-1.1.1.tgz，要看清自己的版本哦

2.解压并配置/etc/profile

a.解压到当前文件夹

tar -zxf software/kafka_2.11-1.1.1.tgz -C ./

b.进入 /etc/profile 目录再最下面添加如下内容，保存退出后 执行 source /etc/profile

#kafka
export KAFKA_HOME=/usr/local/package/kafka_2.11-1.1.1
export PATH=$PATH:$KAFKA_HOME/bin

3.修改配置文件

配置文件所在目录 ${KAFKA_HOME}/config/server.properties

// 每台机器都不同，假如三台机器，可以分别是0,1,2
broker.id=0
// 能删除topic
delete.topic.enable=true
// socket server 监听的端口，不同机器修改成不同的hostname或者ip
listeners=PLAINTEXT://deptest4:9092
// kafka 数据本地持久化目录，如果多个目录(挂载硬盘)可以用逗号分隔
log.dirs=/usr/local/package/kafka_2.11-1.1.1/kafka-logs
// zookeeper 配置
zookeeper.connect=deptest1:2181,deptest2:2181,deptest3:2181

4.分发文件并启动

a.分发

将kafka文件全部分发到deptest5和deptest6上并修改 broker.id 和 listeners，然后在 /etc/profile 中添加 KAFKA_HOME

scp -r kafka_2.11-1.1.1/ hadoop@deptest5:/usr/local/package/
scp -r kafka_2.11-1.1.1/ hadoop@deptest6:/usr/local/package/

b.启动(三台机器都启动)

kafka-server-start.sh -daemon config/server.properties

用 jps 命令查看存在名为 Kafka 的守护进程，表示你已经安装成功了。

5.kafka测试

a.创建一个topic

kafka-topics.sh --create --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --replication-factor 3 --partitions 3 --topic aarontest

b.查看topic信息

kafka-topics.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --describe 

出现如下信息

Topic:aarontest	PartitionCount:3	ReplicationFactor:3	Configs:
	Topic: aarontest	Partition: 0	Leader: 2	Replicas: 2,0,1	Isr: 2,0,1
	Topic: aarontest	Partition: 1	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2
	Topic: aarontest	Partition: 2	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0

c.创建一个生产者和一个消费者

kafka-console-producer.sh --topic aarontest --broker-list deptest4:9092,deptest5:9092,deptest6:9092 

kafka-console-consumer.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181

d.测试

在生产者里随便输入一个字符串，查看消费者如果接收到，这表示成功了，截图如下

恭喜您完成Kafka集群的安装

若对博客中有任何问题，欢迎留言交流

恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装

@羲凡——只为了更好的活着