CentOS7 安装kafka教程及启动

介绍

Kafka是分布式发布-订阅消息系统，最初由LinkedIn公司开发，之后成为之后成为Apache基金会的一部分，由Scala和Java编写。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
它与传统系统相比，有以下不同：
它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

基础概念

Broker：Kafka集群包含一个或多个服务器，这些服务器就是Broker
Topic：每条发布到Kafka集群的消息都必须有一个Topic
Partition：是物理概念上的分区，为了提供系统吞吐率，在物理上每个Topic会分成一个或多个Partition，每个Partition对应一个文件夹
Producer：消息产生者，负责生产消息并发送到Kafka Broker
Consumer：消息消费者，向kafka broker读取消息并处理的客户端。
Consumer Group：每个Consumer属于一个特定的组，组可以用来实现一条消息被组内多个成员消费等功能。

启动前请确保装好了jdk1.8和zookeeper。安装教程分别如下：

jdk安装教程：https://blog.csdn.net/qq_28666081/article/details/81629764

zookeeper安装教程：https://blog.csdn.net/qq_28666081/article/details/83099645 （可以使用自带的）

---

安装kafaka

从官网下载Kafka安装包。

下载路径：http://kafka.apache.org/downloads
安装参考：https://segmentfault.com/a/1190000012990954

解压安装（我的安装目录/opt/kafka/）

tar -zvxf kafka_2.11-2.1.0.tag

修改配置文件

vim /opt/kafka/kafka_2.11-2.1.0/config/server.properties

修改其中

listeners = PLAINTEXT://ip:9092
注意：ip指的是本机ip

验证

使用安装包中的脚本启动单节点Zookeeper实例

/opt/modules/kafka_2.11-2.3.0
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

 

bin/zookeeper-server-stop.sh

使用kafka-server-start.sh启动kafka服务：

bin/kafka-server-start.sh config/server.properties &

• Kafka启动命令

注：先进入kafka目录

1）常规模式启动kafka

bin/kafka-server-start.sh config/server.properties &

2）进程守护模式启动kafka

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 & 

• Kafka关闭命令

注：先进入kafka目录

bin/kafka-server-stop.sh

 

 

执行jps命令查看进程是否启动：jps

 

使用kafka-topics.sh 创建但分区单副本的topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

修改主题分区为2

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test  --partitions 2

 

使用kafka-console-producer.sh 发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

使用kafka-console-consumer.sh 接收消息并在终端打印

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

删除topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看描述topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行给出了所有分区的摘要，每个附加行给出了关于一个分区的信息。 由于我们只有一个分区，所以只有一行。
“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。
“Replicas”: 是复制此分区日志的节点列表，无论它们是否是领导者，或者即使他们当前处于活动状态。
“Isr”: 是一组“同步”副本。这是复制品列表的子集，当前活着并被引导到领导者。

 

---

---

集群：

 

Broker 如何加入 Kafka 集群

非常简单，只需要两个参数。

vim /opt/modules/kafka_2.11-2.3.0/config/server.properties

第一，配置 zookeeper.connect ，

第二，为新增的 broker 设置一个集群内的唯一性 id 。

Kafka 中的集群是可以动态扩容的

 

第一台机器 broker.id=0  

listeners = PLAINTEXT://192.168.42.101:9092 本身

zookeeper.connect=192.168.42.101:2181,192.168.42.111:2181

---

第2台机器：broker.id=1 

listeners = PLAINTEXT://192.168.42.111:9092 本身

zookeeper.connect=192.168.42.101:2181,192.168.42.111:2181 一样的