飞腾+麒麟安装kafka

一、   软件包

版本号：2.11-0.10.1.1

wget https://archive.apache.org/dist/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

二、   安装

安装前提：zookeeper安装

1)   创建kafka log文件夹

mkdir /usr/local/kafka/kafka-logs/

2)   配置服务启动信息

在/usr/local/kafka/config目录下修改server.properties文件，修改的具体内容如下：

broker.id=0

#访问端口号

port=9092

#访问地址

host.name=master

#允许删除topic

delete.topic.enable=true

#存储数据路径，默认是在/tmp目录下，需要修改

log.dirs=/usr/local/kafka/kafka-logs

zookeeper.connect=master:2181,slave1:2181,slave2:2181

3)   拷贝文件信息到Broker02/Broker03节点上

scp -r /usr/local/kafka slave1:/usr/local

scp -r /usr/local/kafka slave2:/usr/local

4)   修改Broker02和Broker03信息

修改broker.id 和host.name(slave1 broker.id为1，slave2为2) host.name修改为各自的hostname或IP

5)   分别启动Broker01/Broker02/Broker03

以后台进程的方式启动Kafka:

./kafka-server-start.sh -daemon ../config/server.properties

Ø  验证

1)   进程：

启动后三台机子都有Kafka进程

2)   主题创建和查看

主题创建：

./kafka-topics.sh --create --zookeeper master:2181  --replication-factor 2 --partitions 3 --topic topicnewtest1

查看主题

./kafka-topics.sh  --list --zookeeper master:2181

查看主题信息

./kafka-topics.sh --describe --zookeeper master:2181  --topic topicnewtest1

3)   使用kafka自带生产者和消费者脚本

l  使用kafka自带的生产者客户端脚本

./kafka-console-producer.sh  --broker-list slave1:9092,slave2:9092 --topic topicnewtest1

l  使用kafka自带的消费者客户端脚本

./kafka-console-consumer.sh --zookeeper master:2181  --from-beginning --topic topicnewtest1

l  在生产端发送消息，在消费端可以接收到消息；

生产端：

消费端：

 

作者：杜变霞