目录
1、Kafka的topic操作脚本
2、Kafka的消费者客户端脚本
3、Kafka的生产者客户端脚本
4、查看LAG
5、connect-distributed.sh
6、connect-standalone.sh
7、kafka-acls.sh
8、kafka-broker-api-version.sh
9、kafka-configs.sh
10、kafka-consumer-perf-test.sh
11、kafka-delegation-tokens.sh
12、kafka-delete-records.sh
13、kafka-dump-log.sh
14、kafka-log-dirs.sh
15、kafka-mirror-maker.sh
16、kafka-preferred-replica-election.sh
17、kafka-reassign-partitions.sh
18、kafka-replica-verification.sh
19、kafka-run-class.sh
20、kafka-server-start.sh
21、kafka-server-stop.sh
22、kafka-streams-application-reset.sh
24、kafka-verifiable-consumer.sh
25、kafka-verifiable-producer.sh
26、trogdor.sh
27、zookeeper-security-migration.sh
28、zookeeper-server-start.sh
29、zookeeper-server-stop.sh
30、zookeeper-shell.sh
参考文档:
kafka-topics.sh是Kafka的topic操作脚本
1)查看topic列表
./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list
2)查看topic的详细信息
./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --describe
3)创建topic
在创建topic的时候,必须指明的几个参数是:topic名称、topic的分区数、topic的分区副本数
./bin/kafka-topics.sh --bootstrap 127.0.0.1:9092 --create --topic test1 --partitions 1 --replication-factor 1
4)删除topic
./bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --delete --topic test1
kafka-console-consumer.sh是Kafka的消费者客户端脚本,用来模拟一个Kafka消费者
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --group test-group --from-beginning
kafka-console-producer.sh是Kafka的生产者客户端脚本,用来模拟一个Kafka生产者
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1
./bin/kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group consumer-group-name
分布式的数据导入与导出,可以用来做实时数据同步和分析处理
单机模式的数据导入与导出,可以用来做实时数据同步和分析处理
配置管理脚本,可以用来查看配置。--describe/--alter
消费者性能测试脚本
查看日志删除目录
查看日志消息目录
kafka优先副本选举:该脚本做replica之间做均衡,使得每一个broker上的preferred replica(优先副本)作为leader replica。
kefka中有一个配置:auto.leader.rebalance.enable可以使kafka进行leader均衡,但不推荐,因为,如果balance发生在业务高峰期,则对性能有影响。
broker之间迁移数据(同一个topic内),可以将同一个topic中的数据从一个broker迁移到另一个broker
kafka副本检查
持续接收指定topic的消费
持续发送消息到指定的topic
Kafka官方文档:https://kafka.apache.org/documentation/