MQ kafka单机安装配置和部署

1 资源

资源信息	版本号	备注
服务器	Centos7	IP: 192.168.51.4
JRE	1.8	如果已安装请忽略
kafka	2.12-2.1.0	IP: 192.168.51.4
zookeeper	3.4.10	IP: 192.168.51.4

JRE-1.8 下载：https://download.csdn.net/download/qq_15769939/12115544

CSDN kafaka下载：https://download.csdn.net/download/qq_15769939/16100116

官网地址：kafaka下载：http://kafka.apache.org/downloads

2 JDK安装

zookeeper是需要依赖于JDK环境的，如果未安装，可参考博文：

Centos7 离线安装和配置jre1.8：https://blog.csdn.net/qq_15769939/article/details/112749984

ZK zookeeper单机安装与配置：https://blog.csdn.net/qq_15769939/article/details/115262156

3 安装与配置

3.1 上传服务器

将文件上传到服务器的 /opt/module/software/kafka 目录

[root@localhost software]# cd /opt/module/software/kafka/
[root@localhost kafka]# ll
总用量 53912
-rw-r--r--. 1 root root 55201797 3月  25 15:46 kafka_2.12-2.1.0.tgz.zip

3.2 解压到指定目录

[root@localhost kafka]# unzip kafka_2.12-2.1.0.tgz.zip
[root@localhost kafka]# tar -zxvf kafka_2.12-2.1.0.tgz -C /usr/local
[root@localhost kafka]# cd /usr/local
[root@localhost local]# mv kafka_2.12-2.1.0/ kafka_2.12

3.3 修改配置

[root@localhost conf]# vi /usr/local/kafka_2.12/config/server.properties

## 修改配置：
broker.id=0
port=9092
host.name=192.168.51.4
advertised.host.name=192.168.51.4
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.51.4:2181

创建日志目录

[root@localhost conf]# mkdir /usr/local/kafka_2.12/kafka-logs

3.4 测试启动

3.4.1 启动 kafka

[root@localhost conf]# /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &

3.4.2 查看进程

[root@localhost local]# jps -l
85465 kafka.Kafka

3.4.3 停止 kafka

[root@localhost bin]# /usr/local/kafka_2.12/bin/kafka-server-stop.sh  /usr/local/kafka_2.12/config/server.properties &

4 常用命令

4.1 创建topic主题

# 创建topic主题命令：（创建名为test的topic， 1个分区分别存放数据，数据备份总共1份）
kafka-topics.sh --zookeeper 192.168.1.46:2181 --create --topic topic1 --partitions 1  --replication-factor 1

• --zookeeper 为zookeeper服务列表地址配置项，这里任意指定zookeeper其中一个服务列表地址即可
• --create 命令后 --topic 为创建topic 并指定 topic name
• --partitions 为指定分区数量配置项
• --replication-factor 为指定副本集数量配置项

4.2 查看topic列表

kafka-topics.sh --zookeeper 192.168.51.4:2181 --list

4.3 发送数据

kafka-console-producer.sh --broker-list 192.168.51.4:9092 --topic topic-test

4.4 接收数据

kafka-console-consumer.sh --bootstrap-server 192.168.51.4:9092 --topic topic-test --from-beginning

4.5 删除topic

kafka-topics.sh --zookeeper 192.168.51.4:2181 --delete --topic topic-test

4.6 查看消费进度

kafka-consumer-groups.sh --bootstrap-server 192.168.51.4:9092 --describe --group group1

• -describe --group 为订阅组， 后面指定 group name

5 相关信息

• 博文不易，辛苦各位猿友点个关注和赞，感谢