kafka入门看这篇就够了!

赞赞赞
https://baijiahao.baidu.com/s?id=1651919282506404758&wfr=spider&for=pc
命令行教程:https://blog.csdn.net/u012369535/article/details/93844653

创建topic

zjhz-cmread-test161 kafka_2.9.2-0.8.1/bin> kafka-topics.sh --zookeeper 10.211.95.114:6830 --create --topic wjh_test --replication-factor 1 --partitions 3

查看topic

zjhz-cmread-test161 kafka_2.9.2-0.8.1/bin> kafka-topics.sh --zookeeper 10.211.95.114:6830 --topic wjh_test --describe
Topic:wjh_test PartitionCount:3 ReplicationFactor:1 Configs:
Topic: wjh_test Partition: 0 Leader: 711 Replicas: 711 Isr: 711
Topic: wjh_test Partition: 1 Leader: 711 Replicas: 711 Isr: 711
Topic: wjh_test Partition: 2 Leader: 711 Replicas: 711 Isr: 711

Partition是分区编号,Leader,Replicats和Isr里是broker_id,而broker_id是在$KAFKA_HOME/config/server.properties里配置的。

因为创建topic时必须指定zookeeper,所以此时zookeeper上存有该topic及其分区的元数据信息,执行zkCli.sh进入zookeeper客户端查看:

创建生产者
用kafka-console-producer.sh 创建生产者
[root@master bin]# ./kafka-console-producer.sh --broker-list master:9092 --topic mytest
创建消费者
用kafka-console-consumer.sh创建消费者,并指定其所在的消费组为group_mytest
[root@master bin]# ./kafka-console-consumer.sh --bootstrap-server master:9092 --topic mytest --consumer-property group.id=group_mytes

从0开始消费
sh kafka-console-consumer.sh --bootstrap-server 192.168.179.64:9092 --from-beginning --topic wjh_demo
也就是从上次的偏移量开始消费,接着上次没消费完的消息开始
从当前接收到的最新的消息开始消费
sh kafka-console-consumer.sh --bootstrap-server 192.168.179.64:9092 --topic wjh_demo

原文链接:https://blog.csdn.net/u012369535/article/details/93844653
查看消费位移offset
用kafka-consumer-offset-checker.sh查看消费者的消费位移offseet,有没有消息堆积
从别的博客里看到的,没看到这个sh脚本,又重新百度了一篇
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list yfjz-212:9092 --topic TOPIC_NAME
yfjz-212:9092 为部署服务器和端口号
TOPIC_NAME 为kafka主题名称

查看所有topic

kafka_2.9.2-0.8.1/bin> kafka-topics.sh --zookeeper 10.211.95.114:6830 --list

查看kafka指定topic的详情

kafka_2.9.2-0.8.1/bin> kafka-topics.sh --zookeeper 10.211.95.114:6830 --topic datacollect --describe

你可能感兴趣的:(大数据)