Kafka 安装完整版

@羲凡——只为了更好的活着

Kafka 安装完整版

Kafka 是做流计算的好基友。kafka的安装都基本一个样,如果安装kafka是为了用spark streaming,建议安装kafka_2.11-0.10.2.2 版本。下面在deptest4,deptest5,deptest6三台机器上配置kafka集群,版本本文随便选择一个版本(kafka1.1.1)

0.默认你已经安装了JDK和scala

1.下载Kafka安装包

下载地址:http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
因为我用的scala2.11.12版本,所以下载的是 kafka_2.11-1.1.1.tgz,要看清自己的版本哦

2.解压并配置/etc/profile

a.解压到当前文件夹

tar -zxf software/kafka_2.11-1.1.1.tgz -C ./

b.进入 /etc/profile 目录再最下面添加如下内容,保存退出后 执行 source /etc/profile

#kafka
export KAFKA_HOME=/usr/local/package/kafka_2.11-1.1.1
export PATH=$PATH:$KAFKA_HOME/bin

3.修改配置文件

配置文件所在目录 ${KAFKA_HOME}/config/server.properties

// 每台机器都不同,假如三台机器,可以分别是0,1,2
broker.id=0
// 能删除topic
delete.topic.enable=true
// socket server 监听的端口,不同机器修改成不同的hostname或者ip
listeners=PLAINTEXT://deptest4:9092
// kafka 数据本地持久化目录,如果多个目录(挂载硬盘)可以用逗号分隔
log.dirs=/usr/local/package/kafka_2.11-1.1.1/kafka-logs
// zookeeper 配置
zookeeper.connect=deptest1:2181,deptest2:2181,deptest3:2181

4.分发文件并启动

a.分发

将kafka文件全部分发到deptest5和deptest6上并修改 broker.idlisteners,然后在 /etc/profile 中添加 KAFKA_HOME

scp -r kafka_2.11-1.1.1/ hadoop@deptest5:/usr/local/package/
scp -r kafka_2.11-1.1.1/ hadoop@deptest6:/usr/local/package/
b.启动(三台机器都启动)
kafka-server-start.sh -daemon config/server.properties

jps 命令查看存在名为 Kafka 的守护进程,表示你已经安装成功了。

5.kafka测试

a.创建一个topic
kafka-topics.sh --create --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --replication-factor 3 --partitions 3 --topic aarontest
b.查看topic信息
kafka-topics.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --describe 

出现如下信息

Topic:aarontest	PartitionCount:3	ReplicationFactor:3	Configs:
	Topic: aarontest	Partition: 0	Leader: 2	Replicas: 2,0,1	Isr: 2,0,1
	Topic: aarontest	Partition: 1	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2
	Topic: aarontest	Partition: 2	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
c.创建一个生产者和一个消费者
kafka-console-producer.sh --topic aarontest --broker-list deptest4:9092,deptest5:9092,deptest6:9092 
kafka-console-consumer.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181
d.测试

在生产者里随便输入一个字符串,查看消费者如果接收到,这表示成功了,截图如下
Kafka 安装完整版_第1张图片
恭喜您完成Kafka集群的安装

若对博客中有任何问题,欢迎留言交流

恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装

@羲凡——只为了更好的活着

你可能感兴趣的:(Kafka/Pulsar)