Kafka的安装部署、基本操作、集群环境

1、Kafka的安装部署

下载kafka

kafka_2.11-2.0.0.tgz

安装过程

安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序

• tar -zxvf kafka_2.11-2.0.0.tgz 解压

配置zookeeper

因为kafka依赖于zookeeper来做master选举一起其他数据的维护，所以需要先启动zookeeper节点
kafka内置了zookeeper的服务，所以在bin目录下提供了这些脚本

zookeeper-server-start.sh
zookeeper-server-stop.sh

在config目录下，存在一些配置文件

zookeeper.properties
server.properties

所以我们可以通过下面的脚本来启动zk服务，当然，也可以自己搭建zk的集群来实现

sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

启动和停止kafka

• 修改server.properties, 增加zookeeper的配置

zookeeper.connect=localhost:2181

• 启动kafka

sh kafka-server-start.sh -daemon config/server.properties

• 停止kafka

sh kafka-server-stop.sh -daemon config/server.properties

2、kafka的基本操作

创建topic

sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --
partitions 1 --topic test

Replication-factor 表示该topic需要在不同的broker中保存几份，这里设置成1，表示在两个broker中
保存两份
Partitions 分区数

查看topic

sh kafka-topics.sh --list --zookeeper localhost:2181

查看topic属性

sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

消费消息

sh kafka-console-consumer.sh --bootstrap-server 192.168.13.106:9092 --topic test
--from-beginning

发送消息

sh kafka-console-producer.sh --broker-list 192.168.13.106:9092 --topic test

3、 集群环境安装

环境准备

• 准备三台虚拟机
• 分别把kafka的安装包部署在三台机器上

修改配置

以下配置修改均为server.properties

• 分别修改三台机器的server.properties配置，同一个集群中的每个机器的id必须唯一

broker.id=0
broker.id=1
broker.id=2

• 修改zookeeper的连接配置

zookeeper.connect=192.168.10.68:2181

• 修改listeners配置
  如果配置了listeners，那么消息生产者和消费者会使用listeners的配置来进行消息的收发，否则，
  会使用localhost

PLAINTEXT表示协议，默认是明文，可以选择其他加密协议

listeners=PLAINTEXT://192.168.10.68:9092
listeners=PLAINTEXT://192.168.10.69:9092
listeners=PLAINTEXT://192.168.10.70:9092

分别启动三台服务器

sh kafka-server-start.sh -daemon ../config/server.properties