Kafka -- 环境搭建Linux(单机模式) 及 常用命令

依赖

• JDK8
• Zookeeper

  自行安装JDK,不再赘述， Kafka安装包自带Zookeeper

---

Kafka下载

1. wget

wget http://archive.apache.org/dist/kafka/10.2.1/kafka_2.11-0.10.2.1.tgz
tar -zxvf kafka_2.11-0.10.2.1.tgz

     2. windows下载rz上传,kafka官网  http://kafka.apache.org/

    

 

---

配置

  1.  创建日志目录

mkdir -p /export/servers/wangaimin/logs/zookeeper
mkdir -p /export/servers/wangaimin/logs/kafka

  2. kafka配置

vim config/server.properties

Broker的id, 必须唯一
broker.id=0

监听地址及端口 
listeners=PLAINTEXT://ip:9092
port=9092

#日志存放路径，上面创建的目录
log.dirs=/export/servers/wangaimin/logs/kafka

#zookeeper地址和端口
zookeeper.connect=ip:2181

#无此topic时，生产者生产时自动创建，不用cmd创建
auto.create.topics.enable=true

3. zookeeper配置

vim zookeeper.properties

#服务器IP地址，修改为自己的服务器IP (貌似这两行在kafka配置里也行)
host.name=ip
advertised.host.name=ip

#日志存放路径，上面创建的目录
dataDir=/export/servers/wangaimin/zookeeper
dataLogDir=/export/servers/wangaimin/logs/zookeeper

#zookeeper端口
clientPort=2181

maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5

---

 启动

   1. zookeeper启动 (先cd到bin目录）

./zookeeper-server-start.sh /export/servers/wangaimin/kafka_2.11-0.10.2.1/config/zookeeper.properties &

   2. kafka启动

./kafka-server-start.sh /export/servers/wangaimin/kafka_2.11-0.10.2.1/config/server.properties &

---

生产/消费

  1.创建Topic

./kafka-topics.sh --create --zookeeper 10.226.133.75:2181 --replication-factor 1 --partitions 1 --topic TestKafka

 2. 展示已有Topic

./kafka-topics.sh --list --zookeeper localhost:2181

  

 3. 生产消息

./kafka-console-producer.sh --broker-list 10.226.xx.xx:9092 --topic TestKafka

为 topic test765 生产 500000 条消息：
./kafka-producer-perf-test.sh  --topic test765 --throughput  -1  --record-size 10 --num-records 500000 --producer-props bootstrap.servers=localhost:9092

 

 4. 消费消息

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic TestKafka --from-beginning

5. topic消息数

-time-1 表示要获取指定topic所有分区当前的最大位移，--time-2 表示获取当前最早位移。 两个命令的输出结果相减便可得到所有分区当前的消息总数。

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.xx.xx.75:9092 --topic test-producer --time -1 

 

 6. topic详情

 

./kafka-topics.sh --zookeeper 10.226.133.75:2181  --describe --topic test-producer

 

---

关闭

./kafka-server-stop.sh ../config/server.properties &
./zookeeper-server-stop.sh ../config/zookeeper.properties &

---

删除

前提：修改配置server.properties 

•  delete.topic.enable=true 
•  auto.create.topics.enable = false

./kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion）

---

End