kafka系列之（一） ---------- kafka 运维操作

目录

 

1、Kafka的topic操作脚本

2、Kafka的消费者客户端脚本

3、Kafka的生产者客户端脚本

4、查看LAG

5、connect-distributed.sh

6、connect-standalone.sh

7、kafka-acls.sh

8、kafka-broker-api-version.sh

9、kafka-configs.sh

10、kafka-consumer-perf-test.sh

11、kafka-delegation-tokens.sh

12、kafka-delete-records.sh

13、kafka-dump-log.sh

14、kafka-log-dirs.sh

15、kafka-mirror-maker.sh

16、kafka-preferred-replica-election.sh

17、kafka-reassign-partitions.sh

18、kafka-replica-verification.sh

19、kafka-run-class.sh

20、kafka-server-start.sh

21、kafka-server-stop.sh

22、kafka-streams-application-reset.sh

24、kafka-verifiable-consumer.sh

25、kafka-verifiable-producer.sh

26、trogdor.sh

27、zookeeper-security-migration.sh

28、zookeeper-server-start.sh

29、zookeeper-server-stop.sh

30、zookeeper-shell.sh

参考文档：

---

1、Kafka的topic操作脚本

kafka-topics.sh是Kafka的topic操作脚本

1）查看topic列表

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list

2）查看topic的详细信息

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --describe

3）创建topic

在创建topic的时候，必须指明的几个参数是：topic名称、topic的分区数、topic的分区副本数

        ./bin/kafka-topics.sh --bootstrap 127.0.0.1:9092 --create --topic test1 --partitions 1 --replication-factor 1

4）删除topic

        ./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --delete --topic test1

2、Kafka的消费者客户端脚本

kafka-console-consumer.sh是Kafka的消费者客户端脚本，用来模拟一个Kafka消费者

     bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --group test-group --from-beginning

3、Kafka的生产者客户端脚本

kafka-console-producer.sh是Kafka的生产者客户端脚本，用来模拟一个Kafka生产者

    bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1

4、查看LAG

    ./bin/kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group consumer-group-name

5、connect-distributed.sh

    分布式的数据导入与导出，可以用来做实时数据同步和分析处理

6、connect-standalone.sh

    单机模式的数据导入与导出，可以用来做实时数据同步和分析处理

7、kafka-acls.sh

8、kafka-broker-api-version.sh

9、kafka-configs.sh

    配置管理脚本，可以用来查看配置。--describe/--alter

10、kafka-consumer-perf-test.sh

    消费者性能测试脚本

11、kafka-delegation-tokens.sh

12、kafka-delete-records.sh

    查看日志删除目录

13、kafka-dump-log.sh

14、kafka-log-dirs.sh

    查看日志消息目录

15、kafka-mirror-maker.sh

16、kafka-preferred-replica-election.sh

    kafka优先副本选举：该脚本做replica之间做均衡，使得每一个broker上的preferred replica（优先副本）作为leader replica。
    kefka中有一个配置：auto.leader.rebalance.enable可以使kafka进行leader均衡，但不推荐，因为，如果balance发生在业务高峰期，则对性能有影响。

17、kafka-reassign-partitions.sh

    broker之间迁移数据（同一个topic内），可以将同一个topic中的数据从一个broker迁移到另一个broker

18、kafka-replica-verification.sh

    kafka副本检查

19、kafka-run-class.sh

20、kafka-server-start.sh

21、kafka-server-stop.sh

22、kafka-streams-application-reset.sh

24、kafka-verifiable-consumer.sh

    持续接收指定topic的消费

25、kafka-verifiable-producer.sh

    持续发送消息到指定的topic

26、trogdor.sh

27、zookeeper-security-migration.sh

28、zookeeper-server-start.sh

29、zookeeper-server-stop.sh

30、zookeeper-shell.sh

 

参考文档：

Kafka官方文档：https://kafka.apache.org/documentation/